A perplexidade é a exponencial da entropia cruzada média por token de um modelo em um conjunto de teste — intuitivamente, o número efetivo de opções igualmente prováveis entre as quais o modelo está decidindo a cada passo. A medida remonta às primeiras pesquisas em reconhecimento de fala (Jelinek et al., 1977) e é tratada como uma métrica central de avaliação no livro de referência de Jurafsky e Martin.
Quanto menor, melhor, mas a perplexidade mede apenas o ajuste preditivo ao texto; ela não capta diretamente utilidade, factualidade ou segurança, e é por isso que costuma ser combinada com benchmarks de tarefas e avaliação humana.