Le Transformer est une architecture de modélisation de séquences présentée par Vaswani et al. (2017). Son idée centrale, l’auto-attention (self-attention), permet à chaque position d’une séquence de prêter directement attention à toutes les autres : le modèle peut ainsi saisir des relations à longue distance en une seule étape, au lieu de faire transiter l’information le long d’une chaîne comme le font les réseaux récurrents.
Comme l’attention sur une séquence se parallélise très bien, les Transformers s’entraînent bien plus efficacement sur le matériel moderne que les RNN et LSTM qu’ils ont remplacés. C’est cette efficacité qui a rendu possible l’entraînement des grands modèles de langage actuels.
Pourquoi c’est important
ChatGPT, Claude, Gemini et Grok reposent tous sur le Transformer. Comprendre l’attention, les couches et la longueur de contexte (autant de notions propres au Transformer) est la base de presque tous les autres termes de ce glossaire.