评估 2026 年更新

基准测试(Benchmark)

定义

一种用于衡量和比较模型在推理、知识或编程等任务上表现的标准化测试——适合用来排名,但永远无法完全替代用你自己的工作亲自试用模型。

基准测试在固定的数据集上为模型打分,让不同系统能在同等条件下进行比较。一个被广泛引用的例子是 MMLU(Hendrycks 等人,2021),它考察从数学到法律共 57 个学科的知识与推理能力。

基准测试必不可少,但并不完美:训练数据污染可能让成绩虚高,而且在固定测试中拿到高分,并不能保证模型在你具体的真实提示词上表现良好——这也是 MultipleChat 让你直接用自己的问题比较模型的原因之一。

参考文献

本定义所依据的一手文献、同行评审文献和存档资料。

Measuring Massive Multitask Language Understanding (MMLU)
Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). International Conference on Learning Representations (ICLR 2021).

词典与百科条目

引用本条目

MultipleChat.《基准测试(Benchmark)》. MultipleChat AI 与 LLM 术语表,2026. https://multiple.chat/ai-glossary/benchmark

相关术语

实际体验一下

将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。

免费试用 MultipleChat

了解更多

查看付费方案