Sutskever et al. (2014) presentaron el marco secuencia a secuencia: una red codificadora comprime una secuencia de entrada en una representación y una red decodificadora genera a partir de ella una secuencia de salida. Este patrón codificador-decodificador sustentó la traducción automática neuronal y es el antecesor conceptual de los modelos generativos modernos.
La atención y, después, el Transformer se desarrollaron para superar el cuello de botella de comprimir toda una entrada en un único vector fijo.