La perplexité est l’exponentielle de l’entropie croisée moyenne par token d’un modèle sur un jeu de test : intuitivement, le nombre effectif de choix également probables entre lesquels le modèle hésite à chaque étape. Cette mesure remonte aux premiers travaux sur la reconnaissance vocale (Jelinek et al., 1977) et constitue une métrique d’évaluation centrale dans le manuel de référence de Jurafsky et Martin.
Plus elle est faible, mieux c’est, mais la perplexité ne mesure que la qualité prédictive sur du texte ; elle ne rend pas directement compte de l’utilité, de l’exactitude factuelle ou de la sécurité, c’est pourquoi on la combine à des benchmarks de tâches et à une évaluation humaine.