Rafailov et al. (2023) ont montré que l’objectif du RLHF peut être reparamétré de sorte que le modèle de langage soit, en pratique, son propre modèle de récompense. La Direct Preference Optimization s’entraîne alors sur des paires de réponses préférées et rejetées avec une simple fonction de perte de type classification — et atteint un alignement comparable au RLHF sans la complexité ni l’instabilité d’une modélisation de récompense et d’un apprentissage par renforcement séparés.
La DPO est devenue une alternative populaire et plus légère aux pipelines RLHF complets.