Sutskever et al. (2014) hanno introdotto il framework sequence-to-sequence: una rete encoder comprime una sequenza di input in una rappresentazione, e una rete decoder genera a partire da essa una sequenza di output. Questo schema encoder–decoder è stato alla base della traduzione automatica neurale ed è il progenitore concettuale dei moderni modelli generativi.
L'attenzione e poi il Transformer sono stati sviluppati per superare il collo di bottiglia dovuto al dover comprimere un intero input in un unico vettore di dimensione fissa.