L'attenzione è stata introdotta per la traduzione automatica da Bahdanau et al. (2015): consente a un decoder di riguardare le parole sorgente più rilevanti invece di un unico vettore riassuntivo fisso. Vaswani et al. (2017) hanno poi fatto della self-attention l'intera architettura, eliminando del tutto la ricorrenza.
Ogni token calcola una combinazione ponderata di tutti gli altri, in cui i pesi indicano quanto ciascuno è rilevante. È così che un modello risolve i riferimenti, segue la struttura a lungo raggio e decide su cosa concentrarsi.