Die Perplexität ist die Exponentialfunktion der durchschnittlichen Kreuzentropie pro Token, die ein Modell auf einem Testdatensatz erzielt – anschaulich die effektive Zahl gleich wahrscheinlicher Optionen, zwischen denen das Modell bei jedem Schritt wählt. Das Maß geht auf frühe Forschung zur Spracherkennung zurück (Jelinek et al., 1977) und gilt im Standardwerk von Jurafsky & Martin als zentrale Evaluationsmetrik.
Niedriger ist besser, doch die Perplexität misst nur, wie gut ein Modell Text vorhersagt. Hilfreichkeit, Faktentreue oder Sicherheit erfasst sie nicht direkt – deshalb wird sie mit Aufgaben-Benchmarks und menschlicher Bewertung kombiniert.