얼라인먼트(정렬)

얼라인먼트 연구는 뛰어난 성능의 모델이 설계자와 사용자가 실제로 원하는 일을 하도록 보장하는 것을 목표로 합니다. 대표적인 실용 기법으로는 인간 선호도로부터의 학습(Christiano 외, 2017), RLHF를 통한 지시 따르기(Ouyang 외, 2022), 그리고 Constitutional AI처럼 규칙에 따른 자기 개선(Bai 외, 2022)이 있습니다.

얼라인먼트는 체크 표시 하나로 끝나는 해결된 문제가 아니라 여전히 열려 있는 문제입니다. 모델의 능력이 커질수록 의도한 행동을 명확히 규정하고 검증하는 일은 쉬워지는 것이 아니라 더 어려워집니다.