MultipleChat
AIベンチマーク

MultipleChatにはコラボレーションモードがあり、ユーザーのプロンプトが複数の最先端モデルに並行して送られ、回答が横に並べて表示されます。ユーザーはそのうえで、どの回答で会話を続けるか、コピーするか、改善するかを選びます。これにより、行動に基づく嗜好データが継続的に得られます。ユーザーはアンケートではなく、自分のワークフローで投票しているのです。

2026年Q2は、2026年4月1日から6月30日までのコラボレーションモードでの比較のうち、同じプロンプトに対して少なくとも3つの最先端モデルが有効な回答を返したものをすべて対象としています。合計：約8,400人のユニークユーザーによる、11のタスクカテゴリにわたる50,142件の比較です。{{MOCK}}

タスクの分類はGemini Flashで自動的に行い、その後500プロンプトのサンプルで抜き取り検証しました（2名の人間のレビュアーとの一致度 κ = 0.81）。カテゴリ：ライティング、コーディング、要約、翻訳、推論、事実に関するQ&A、数学、リサーチ、クリエイティブ、会話、構造化データの抽出。

勝ちの基準。並列出力を受け取ってから90秒以内に、ユーザーが（a）そのモデルの回答で会話スレッドを続けた場合、または（b）その回答を明示的にコピー／保存した場合に「勝ち」として記録します。引き分けは按分します。5分以内に会話の継続がなかったプロンプトは勝率の計算から除外しますが、ハルシネーションとレイテンシの指標には含めます。

ハルシネーションのフラグ付け。回答が（a）信頼できる情報源に対するプログラムによる検証に通らない引用や事実の主張を含む場合、または（b）ユーザーが事実への懸念を示すプロンプト（例：「それは間違っている」「ファクトチェックして」）とともに「再生成」機能を使った場合に、ハルシネーションの候補としてフラグを付けます。フラグは、200件の回答の無作為サンプルで誤検知率を確認しています。

除外するもの。個人を特定できる情報を含むプロンプト、8トークン未満のプロンプト、いずれかのモデルが途中でエラーになったプロンプト、そして新規ユーザーの最初の100件の比較（慣れによるバイアス）です。プロンプトの本文がMultipleChatのサーバーの外に出ることはなく、出るのは集計された結果だけです。

このグラフではGrokが圧倒的です。1,000勝あたり約$5.90で、平均のおよそ半分、最も高価なモデルより40%安いコストです。月100kクエリを処理するチームなら、常にClaudeを使う場合とGrokを既定にしてフォールバックを使う場合とで、推論コストに月額約$11,000の差が生じます。

高くつく回答はまれです。Perplexity Sonarの1勝あたりのコストが高く見えるのは、リサーチタスク（勝率51%）でしか競合していないためです。実際に勝つタスクで見れば、十分に競争力があります。

推論モデルのパラドックス。独立した研究では、OpenAIの推論モデルo3が事実性ベンチマークPersonQAで33%のハルシネーション率を示しました。推論を行わない前世代のo1（16%）の2倍以上です。私たちのデータもMultipleChat内で同じパターンを再現しています。ユーザーが推論クラスのモデルに単純な事実の質問を送ると、推論を行わない同系列のモデルと比べてハルシネーションのフラグが2.1×に増加します。{{MOCK}}

これが重要になる場面。単発の事実確認に推論モデルを使うのは避けましょう。推論そのものに価値がある多段階の問題に使ってください。難しい数学の証明を正しく解く同じモデルが、CEOの名前を自信たっぷりに間違えることもあるのです。

分野ごとのリスクは残っています。2026年の独立した研究では、法律関連のクエリで6.4%、医療関連で10〜20%、RAGベースの法律ツールでは最大33%のハルシネーションが報告されています。私たちのデータセットの法律／医療カテゴリにおける同等のフラグ率は、それぞれ7.2%と12.4%です。これらのモデルは下書きに使い、最終段階の診断には使わないでください。{{MOCK}}

自己選択バイアス。当社のユーザーは、マルチモデルのプラットフォームを利用する生産性志向のプロフェッショナルであり、一般の人々とは異なる可能性があります。コーディング、ライティング、リサーチの比重が高く、雑談やロールプレイの比重は低くなっています。

「勝ち」のシグナルは行動に基づきます。ユーザーがモデルXの回答で会話を続けたということは、その回答が使えるほど良かったという意味であり、必ずしも最良だったとは限りません。私たちは検証可能性と信頼性を引き換えにしています。LMSYS Arenaではより熟慮された投票が得られ、私たちはより正直な投票が得られるのです。

モデルのバージョンは急速に変わります。このデータセットにおける「Claude」とは、各測定日にAnthropicが提供していたモデルを指します。ダウンロード可能なデータセットには、具体的なビルドIDを記録しています。新しいバージョンがリリースされると、主要な数値は変動します。

当社はこれらのモデルへのアクセスを販売しています。MultipleChatは5つのベンダーすべてへのアクセスに料金をいただいており、契約上の優遇はありません。マルチモデルのプラットフォームの利点を訴える明らかな動機はあり、実際にそうしています。しかし、特定のベンダーを優遇する動機はありません。