評価 2026年更新

ベンチマーク

定義

推論、知識、コーディングなどのタスクでモデルを測定・比較するための標準化されたテスト。順位付けには役立ちますが、自分の実際の業務でモデルを試すことの完全な代わりにはなりません。

ベンチマークは固定のデータセットでモデルを採点し、異なるシステムを同じ条件で比較できるようにします。よく引用される例が MMLU（Hendrycks ら、2021）で、数学から法律まで57分野にわたる知識と推論力をテストします。

ベンチマークは不可欠ですが完璧ではありません。学習データの混入（コンタミネーション）によってスコアが水増しされることがあり、固定のテストで高得点でも、あなた固有の実際のプロンプトでうまく動くとは限りません。MultipleChat で自分の質問を使ってモデルを直接比較できるようにしているのは、そのためでもあります。

参考文献

この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。

Measuring Massive Multitask Language Understanding (MMLU)

Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). International Conference on Learning Representations (ICLR 2021).

出典 arXiv:2009.03300