L'RLHF addestra un modello di ricompensa sui confronti fatti da persone tra diversi output del modello, quindi ottimizza il modello linguistico rispetto a quella ricompensa tramite apprendimento per rinforzo. Christiano et al. (2017) hanno introdotto l'apprendimento dalle preferenze umane; Stiennon et al. (2020) lo hanno applicato al riassunto; e Ouyang et al. (2022) lo hanno usato per creare InstructGPT, la ricetta alla base degli attuali assistenti che seguono le istruzioni.
È in gran parte l'RLHF a distinguere un semplice predittore del token successivo da un modello con cui conversare risulta utile, onesto e sicuro.