上下文窗口可视化工具

什么是上下文窗口？

上下文窗口是模型一次能够考虑的全部文本量，包括系统提示词、对话历史、你粘贴的文档，以及正在生成的回答。它以 Token 为单位计量，而不是字符或单词。

一旦超出窗口，模型并不会干脆地报错，而是悄悄丢弃较早的内容。最先被遗忘的通常是对话中间的部分，而这恰恰是最不该丢失的内容。留出充足余量（使用率保持在 50%~70%），可以避免长会话中质量下降。

窗口并非越大越好。延迟和成本都会随上下文长度增加，而且大多数模型在真正填满其宣称窗口的任务上，准确率会明显下降。够用就好，选择能满足任务需求的最小窗口。