コンテキストウィンドウ

Transformer のセルフアテンション（Vaswani ら、2017）は、固定長のトークン範囲に対して働きます。この範囲がコンテキストウィンドウです。指示、それまでのやり取り、検索で取得した文書、現在生成中のテキストなど、モデルが一度に「見る」ことのできるものはすべて、この中に収まらなければなりません。

ウィンドウを超えると、最も古い内容から視野の外に押し出されます。モデルはエラーを出すのではなく、収まらなくなった部分に注意を向けなくなるだけです。長い会話で前半の細部が失われるのも、最も関連性の高い箇所だけを検索で取り出して再投入する手法が使われるのも、このためです。