Sutskever et al. (2014) ont introduit le cadre séquence à séquence : un réseau encodeur compresse une séquence d’entrée en une représentation, à partir de laquelle un réseau décodeur génère une séquence de sortie. Ce schéma encodeur-décodeur a servi de fondement à la traduction automatique neuronale et constitue l’ancêtre conceptuel des modèles génératifs modernes.
Le mécanisme d’attention, puis le Transformer, ont été conçus pour surmonter le goulot d’étranglement qui consistait à comprimer toute une entrée dans un seul vecteur de taille fixe.