Nel Transformer (Vaswani et al., 2017) la self-attention opera su un intervallo fisso di token: quell'intervallo è la finestra di contesto. Tutto ciò che il modello può "vedere" contemporaneamente (istruzioni, turni precedenti, documenti recuperati e il testo che sta producendo) deve starci dentro.
Se superi la finestra, i contenuti più vecchi escono dal campo visivo: il modello non va in errore, semplicemente smette di prestare attenzione a ciò che non ci sta più. Ecco perché le conversazioni lunghe perdono i dettagli iniziali e perché si usa il retrieval per reinserire solo i passaggi più rilevanti.