Dans le Transformer (Vaswani et al., 2017), l’auto-attention opère sur une plage fixe de tokens : cette plage, c’est la fenêtre de contexte. Tout ce que le modèle peut « voir » à la fois — instructions, échanges précédents, documents récupérés et texte en cours de production — doit y tenir.
Si la fenêtre est dépassée, le contenu le plus ancien sort du champ : le modèle ne renvoie pas d’erreur, il cesse simplement de prêter attention à ce qui n’y tient plus. C’est pourquoi les longues conversations perdent des détails du début, et pourquoi on recourt à la recherche documentaire (retrieval) pour ne réinjecter que les passages les plus pertinents.