RLHF(인간 피드백 기반 강화 학습)

RLHF는 모델 출력에 대한 사람의 비교 평가로 보상 모델을 학습시킨 뒤, 강화 학습을 통해 그 보상에 맞춰 언어 모델을 최적화합니다. Christiano 외(2017)가 인간 선호도 학습을 처음 제안했고, Stiennon 외(2020)는 이를 요약 작업에 적용했으며, Ouyang 외(2022)는 이를 활용해 InstructGPT를 만들었습니다. InstructGPT의 방식은 오늘날 지시를 따르는 어시스턴트의 기본 레시피가 되었습니다.

단순한 다음 토큰 예측기와, 대화했을 때 유용하고 정직하며 안전하다고 느껴지는 모델을 구분 짓는 것은 상당 부분 RLHF 덕분입니다.