Sutskever et al. (2014) apresentaram o framework sequence-to-sequence: uma rede codificadora comprime uma sequência de entrada em uma representação, e uma rede decodificadora gera a partir dela uma sequência de saída. Esse padrão codificador–decodificador sustentou a tradução automática neural e é o ancestral conceitual dos modelos generativos modernos.
A atenção e, depois, o Transformer foram desenvolvidos para superar o gargalo de comprimir toda a entrada em um único vetor fixo.