Perplexity

パープレキシティは、テストセットにおけるモデルのトークンあたり平均交差エントロピーの指数をとったものです。直感的には、モデルが各ステップで選択に迷っている「等確率の選択肢の実質的な数」を表します。この指標は初期の音声認識研究（Jelinek ら、1977）にさかのぼり、Jurafsky と Martin による定番の教科書でも中核的な評価指標として扱われています。

値は低いほど良いとされますが、パープレキシティが測るのはテキストに対する予測の当てはまりだけです。有用性、事実性、安全性を直接とらえるものではないため、タスク別のベンチマークや人による評価と組み合わせて使われます。