Self-Attention im Transformer (Vaswani et al., 2017) arbeitet über eine feste Spanne von Tokens; diese Spanne ist das Kontextfenster. Alles, was das Modell gleichzeitig „sehen“ kann – Anweisungen, frühere Gesprächsrunden, abgerufene Dokumente und der Text, den es gerade erzeugt –, muss hineinpassen.
Wird das Fenster überschritten, fallen die ältesten Inhalte aus dem Blickfeld: Das Modell meldet keinen Fehler, es beachtet einfach nicht mehr, was nicht mehr hineinpasst. Deshalb gehen in langen Gesprächen frühere Details verloren, und deshalb wird Retrieval eingesetzt, um nur die relevantesten Passagen erneut einzuspeisen.