RLHF ajusta un modelo de recompensa a comparaciones humanas entre respuestas del modelo y después optimiza el modelo de lenguaje frente a esa recompensa mediante aprendizaje por refuerzo. Christiano et al. (2017) introdujeron el aprendizaje a partir de preferencias humanas; Stiennon et al. (2020) lo aplicaron a la generación de resúmenes, y Ouyang et al. (2022) lo usaron para crear InstructGPT, la receta en la que se basan los asistentes actuales que siguen instrucciones.
RLHF es buena parte de lo que separa un simple predictor del siguiente token de un modelo con el que conversar resulta útil, honesto y seguro.