Le RLHF ajuste un modèle de récompense sur des comparaisons humaines entre sorties du modèle, puis optimise le modèle de langage par rapport à cette récompense grâce à l’apprentissage par renforcement. Christiano et al. (2017) ont introduit l’apprentissage à partir de préférences humaines ; Stiennon et al. (2020) l’ont appliqué au résumé de texte ; et Ouyang et al. (2022) s’en sont servis pour créer InstructGPT, la recette à l’origine des assistants actuels qui suivent les instructions.
C’est en grande partie le RLHF qui distingue un simple prédicteur du token suivant d’un modèle qui paraît utile, honnête et sûr lorsqu’on échange avec lui.