평가 2026년 업데이트

벤치마크

정의

추론, 지식, 코딩 같은 과제에서 모델을 측정하고 비교하는 데 쓰이는 표준화된 테스트입니다. 순위를 매기는 데는 유용하지만, 내 실제 업무로 모델을 직접 써 보는 것을 완전히 대신할 수는 없습니다.

벤치마크는 고정된 데이터셋으로 모델에 점수를 매겨 서로 다른 시스템을 동일한 조건에서 비교할 수 있게 합니다. 널리 인용되는 예로 MMLU(Hendrycks 외, 2021)가 있으며, 수학부터 법학까지 57개 분야에 걸쳐 지식과 추론 능력을 평가합니다.

벤치마크는 꼭 필요하지만 완벽하지는 않습니다. 학습 데이터 오염으로 결과가 부풀려질 수 있고, 고정된 테스트에서 높은 점수를 받았다고 해서 내 구체적인 실제 프롬프트에서도 잘 작동한다는 보장은 없습니다. MultipleChat이 내 질문으로 모델을 직접 비교할 수 있게 하는 것도 이 때문입니다.

참고문헌

이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.

Measuring Massive Multitask Language Understanding (MMLU)

Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). International Conference on Learning Representations (ICLR 2021).

출처 arXiv:2009.03300