Rafailov et al. (2023) hanno dimostrato che l'obiettivo dell'RLHF può essere riparametrizzato in modo che il modello linguistico sia, di fatto, il proprio modello di ricompensa. La Direct Preference Optimization addestra quindi su coppie di risposte preferite e rifiutate con una semplice loss di tipo classificazione, ottenendo un allineamento paragonabile all'RLHF senza la complessità e l'instabilità di una modellazione della ricompensa separata e dell'apprendimento per rinforzo.
La DPO è diventata un'alternativa popolare e più leggera alle pipeline RLHF complete.