Bahdanau et al. (2015) introdujeron la atención para la traducción automática: permitía a un decodificador volver a mirar las palabras de origen más relevantes en lugar de depender de un único vector de resumen fijo. Después, Vaswani et al. (2017) convirtieron la autoatención en toda la arquitectura y eliminaron por completo la recurrencia.
Cada token calcula una combinación ponderada de todos los demás, donde los pesos indican la relevancia de cada uno. Así es como un modelo resuelve referencias, sigue la estructura de largo alcance y decide en qué centrarse.