Attention wurde von Bahdanau et al. (2015) für die maschinelle Übersetzung eingeführt: Ein Decoder kann damit auf die relevantesten Wörter im Ausgangstext zurückblicken, statt sich auf einen einzigen festen Zusammenfassungsvektor zu stützen. Vaswani et al. (2017) machten Self-Attention dann zur gesamten Architektur und verzichteten vollständig auf Rekurrenz.
Jedes Token berechnet eine gewichtete Kombination aller anderen, wobei die Gewichte angeben, wie relevant jedes davon ist. So löst ein Modell Bezüge auf, verfolgt weitreichende Strukturen und entscheidet, worauf es sich konzentriert.