L’attention a été introduite pour la traduction automatique par Bahdanau et al. (2015) : elle permet à un décodeur de se référer aux mots source les plus pertinents plutôt qu’à un unique vecteur de résumé figé. Vaswani et al. (2017) ont ensuite fait de l’auto-attention l’architecture tout entière, en supprimant complètement la récurrence.
Chaque token calcule une combinaison pondérée de tous les autres, les poids indiquant le degré de pertinence de chacun. C’est ainsi qu’un modèle résout les références, suit la structure à longue distance et décide où porter son attention.