MultipleChat
AI 基准报告

MultipleChat 提供一种协作模式：用户的提示词会被并行发送给多个前沿模型，回答并排显示。用户随后选择继续使用、复制或优化哪个回答。这会产生源源不断的行为偏好数据：用户用自己的工作流程投票，而不是填问卷。

2026 年第二季度涵盖 2026 年 4 月 1 日至 6 月 30 日期间的所有协作模式对比，前提是至少有三个前沿模型对同一提示词返回了有效回答。总计：来自约 8,400 名独立用户、覆盖 11 个任务类别的 50,142 次对比。{{MOCK}}

任务分类由 Gemini Flash 自动完成，并在 500 个提示词的样本上进行了抽查验证（与两名人工审核员的一致性为 κ = 0.81）。类别包括：写作、编程、摘要、翻译、推理、事实问答、数学、研究、创意、对话、结构化提取。

胜出标准。在收到并行输出后的 90 秒内，如果用户（a）用该模型的回答继续对话，或（b）明确复制/保存该回答，即记为一次“胜出”。平局按比例分摊。5 分钟内没有任何后续操作的提示词不计入胜率计算，但保留用于幻觉和延迟指标。

幻觉标记。当出现以下情况时，回答会被标记为疑似幻觉：（a）其中包含的引用或事实性陈述未能通过与权威来源的程序化核验，或（b）用户调用了“重新生成”功能，且提示词表明对事实存疑（例如“这不对”“核实一下事实”）。我们在 200 条回答的随机样本上复核标记的误报率。

排除的数据。包含个人身份信息的提示词、少于 8 个 token 的提示词、任何模型在输出中途出错的提示词，以及每位新用户的前 100 次对比（预热偏差）。原始提示词文本从不离开 MultipleChat 的服务器，离开的只有聚合后的结果。

Grok 在这张图表中遥遥领先。每 1,000 次胜出约 $5.90，成本约为平均水平的一半，比最贵的模型低 40%。对于每月运行 100k 次查询的团队来说，“始终使用 Claude”与“默认 Grok 加后备”之间的推理成本差距约为每月 $11,000。

昂贵的答案其实是少数。Perplexity Sonar 的每次胜出成本看起来偏高，是因为它只参与研究类任务的对比（其胜率为 51%）；如果只按它真正胜出的任务计算，它的成本是有竞争力的。

推理模型悖论。独立研究显示，OpenAI 的 o3 推理模型在 PersonQA 事实性基准上的幻觉率为 33%，是其非推理前代 o1（16%）的两倍多。我们在 MultipleChat 内的数据复现了这一规律：当用户向推理级模型提出简单的事实性问题时，幻觉标记比同系列非推理模型高出 2.1×。{{MOCK}}

这一点在哪里很重要。不要用推理模型做单一事实查询。把它们用在多步骤问题上，那才是它们的思考能力真正发挥价值的地方。同一个能正确解出高难度数学证明的模型，也可能信心十足地记错一位 CEO 的名字。

领域风险依然存在。2026 年的独立研究报告显示，法律查询的幻觉率为 6.4%，医疗查询为 10–20%，基于 RAG 的法律工具最高可达 33%。在我们数据集的法律/医疗类别中，对应的标记率分别为 7.2% 和 12.4%。请把这些模型用于起草，而不是最终诊断。{{MOCK}}

自选择偏差。我们的用户是使用多模型平台、注重效率的专业人士，可能与普通大众有所不同。编程、写作和研究类任务的占比偏高，闲聊和角色扮演类则偏低。

“胜出”信号基于行为。用户继续使用模型 X 的回答，说明这个回答足够好用，但不一定是最好的。我们在可验证性与真实性之间做了取舍：LMSYS Arena 得到的投票更深思熟虑，我们得到的则更真实。

模型版本更新很快。本数据集中的“Claude”指的是 Anthropic 在每个测量日实际提供的版本；我们在可下载的数据集中记录了具体的构建 ID。新版本发布后，核心数字也会随之变化。

我们销售这些模型的访问服务。MultipleChat 对全部五家供应商的访问收费，没有任何合同约定的偏好。我们显然有动机为多模型平台说话，而且我们也公开这样做了。但我们没有动机偏袒任何一家供应商。