A autoatenção no Transformer (Vaswani et al., 2017) opera sobre um intervalo fixo de tokens; esse intervalo é a janela de contexto. Tudo o que o modelo consegue “ver” de uma vez — instruções, turnos anteriores, documentos recuperados e o texto que ele está produzindo no momento — precisa caber dentro dela.
Se a janela for ultrapassada, o conteúdo mais antigo sai de vista: o modelo não dá erro, ele simplesmente deixa de prestar atenção ao que não cabe mais. É por isso que conversas longas perdem detalhes do início e que a recuperação (retrieval) é usada para reinserir apenas os trechos mais relevantes.