Bei RLHF wird ein Belohnungsmodell an menschliche Vergleiche von Modellausgaben angepasst; anschließend wird das Sprachmodell per Reinforcement Learning auf diese Belohnung hin optimiert. Christiano et al. (2017) führten das Lernen aus menschlichen Präferenzen ein, Stiennon et al. (2020) wandten es auf Zusammenfassungen an, und Ouyang et al. (2022) bauten damit InstructGPT – das Rezept hinter den heutigen Assistenten, die Anweisungen befolgen.
RLHF ist zu einem großen Teil das, was einen reinen Next-Token-Prädiktor von einem Modell unterscheidet, das sich im Gespräch hilfreich, ehrlich und sicher anfühlt.