上下文窗口

Transformer（Vaswani 等人，2017）中的自注意力在固定长度的 token 范围内运作，这个范围就是上下文窗口。模型能同时“看到”的一切——指令、之前的对话轮次、检索到的文档以及正在生成的文本——都必须装进这个窗口。

一旦超出窗口，最早的内容就会移出视野：模型不会报错，只是不再关注那些装不下的内容。这就是为什么长对话会丢失前面的细节，也是为什么要用检索技术只把最相关的段落重新喂给模型。