La perplessità è l'esponenziale dell'entropia incrociata media per token di un modello su un set di test: intuitivamente, il numero effettivo di scelte equiprobabili tra cui il modello deve decidere a ogni passo. La misura risale alle prime ricerche sul riconoscimento vocale (Jelinek et al., 1977) ed è trattata come metrica di valutazione fondamentale nel manuale di riferimento di Jurafsky & Martin.
Più è bassa, meglio è, ma la perplessità misura solo la capacità predittiva sul testo; non coglie direttamente utilità, accuratezza fattuale o sicurezza, ed è per questo che si affianca a benchmark sui compiti e a valutazioni umane.