La perplejidad es la exponencial de la entropía cruzada media por token de un modelo sobre un conjunto de prueba; intuitivamente, el número efectivo de opciones igual de probables entre las que el modelo decide en cada paso. La medida se remonta a las primeras investigaciones sobre reconocimiento de voz (Jelinek et al., 1977) y se considera una métrica de evaluación fundamental en el manual de referencia de Jurafsky y Martin.
Cuanto más baja, mejor, pero la perplejidad solo mide el ajuste predictivo sobre texto; no refleja directamente la utilidad, la veracidad ni la seguridad, y por eso se combina con benchmarks de tareas y evaluación humana.