학습얼라인먼트 2026년 업데이트

DPO(직접 선호 최적화)

정의

RLHF에서 쓰이는 별도의 보상 모델 없이, 간단한 분류 손실을 이용해 인간 선호 쌍으로 모델을 직접 학습시키는 얼라인먼트 기법입니다.

Rafailov 외(2023)는 RLHF 목적 함수를 재매개변수화하면 언어 모델이 사실상 자기 자신의 보상 모델이 된다는 것을 보여 주었습니다. 직접 선호 최적화(DPO)는 이를 바탕으로 선호된 응답과 거부된 응답의 쌍을 간단한 분류 방식의 손실로 학습합니다. 별도의 보상 모델링과 강화 학습에 따르는 복잡성과 불안정성 없이도 RLHF에 버금가는 얼라인먼트를 달성합니다.

DPO는 완전한 RLHF 파이프라인을 대신하는 더 가벼운 대안으로 널리 쓰이고 있습니다.

참고문헌

이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Advances in Neural Information Processing Systems 36 (NeurIPS 2023).

출처 arXiv:2305.18290