A atenção foi introduzida na tradução automática por Bahdanau et al. (2015), permitindo que um decodificador consultasse as palavras de origem mais relevantes em vez de um único vetor-resumo fixo. Vaswani et al. (2017) fizeram então da autoatenção a arquitetura inteira, eliminando completamente a recorrência.
Cada token calcula uma combinação ponderada de todos os outros, em que os pesos indicam a relevância de cada um. É assim que um modelo resolve referências, acompanha estruturas de longo alcance e decide no que focar.