Sutskever et al. (2014) führten das Sequence-to-Sequence-Framework ein: Ein Encoder-Netz verdichtet eine Eingabesequenz zu einer Repräsentation, und ein Decoder-Netz erzeugt daraus eine Ausgabesequenz. Dieses Encoder-Decoder-Muster bildete die Grundlage der neuronalen maschinellen Übersetzung und ist der konzeptionelle Vorläufer moderner generativer Modelle.
Attention und später der Transformer wurden entwickelt, um den Engpass zu überwinden, eine ganze Eingabe in einen einzigen Vektor fester Länge zu pressen.