评估基础概念 2026 年更新

Perplexity

定义

衡量语言模型质量的标准内在指标：模型对留出文本的“意外”程度。困惑度越低，说明模型对真实文本的预测越准确。

困惑度是模型在测试集上每个 token 平均交叉熵的指数——直观地说，就是模型在每一步实际上是在多少个等可能的选项之间做选择。这一指标可追溯到早期的语音识别研究（Jelinek 等人，1977），并在 Jurafsky 和 Martin 的经典教材中被视为核心评估指标。

困惑度越低越好，但它只衡量模型对文本的预测拟合程度，并不能直接反映回答是否有用、是否符合事实或是否安全，因此通常要与任务基准测试和人工评估结合使用。

参考文献

本定义所依据的一手文献、同行评审文献和存档资料。

Perplexity—a measure of the difficulty of speech recognition tasks

Jelinek, F., Mercer, R. L., Bahl, L. R., & Baker, J. K. (1977). Journal of the Acoustical Society of America, 62(S1), S63.

来源 DOI:10.1121/1.2016299

Speech and Language Processing (3rd ed. draft), Ch. 3: N-gram Language Models

Jurafsky, D., & Martin, J. H. (2024). Stanford University.

来源

MultipleChat.《困惑度（Perplexity）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/perplexity