Perplexity

퍼플렉서티는 테스트 세트에서 모델의 토큰당 평균 교차 엔트로피에 지수를 취한 값으로, 직관적으로 말하면 모델이 각 단계에서 고민하는 "동등한 확률의 선택지"가 실질적으로 몇 개인지를 나타냅니다. 이 지표는 초기 음성 인식 연구(Jelinek 외, 1977)에서 유래했으며, Jurafsky와 Martin의 대표 교재에서도 핵심 평가 지표로 다룹니다.

값이 낮을수록 좋지만, 퍼플렉서티는 텍스트에 대한 예측 적합도만 측정할 뿐 유용성, 사실성, 안전성을 직접 반영하지는 않습니다. 그래서 작업별 벤치마크 및 사람의 평가와 함께 사용합니다.