O RLHF ajusta um modelo de recompensa a comparações humanas entre saídas do modelo e, em seguida, otimiza o modelo de linguagem em função dessa recompensa com aprendizado por reforço. Christiano et al. (2017) introduziram o aprendizado a partir de preferências humanas; Stiennon et al. (2020) o aplicaram à sumarização; e Ouyang et al. (2022) o usaram para criar o InstructGPT, a receita por trás dos assistentes atuais que seguem instruções.
O RLHF é boa parte do que separa um simples preditor do próximo token de um modelo que parece útil, honesto e seguro para conversar.