Rafailov et al. (2023) mostraram que o objetivo do RLHF pode ser reparametrizado de modo que o modelo de linguagem seja, na prática, seu próprio modelo de recompensa. A Direct Preference Optimization então treina com pares de respostas preferidas versus rejeitadas usando uma função de perda simples, no estilo de classificação — alcançando um alinhamento comparável ao do RLHF sem a complexidade e a instabilidade de modelagem de recompensa e aprendizado por reforço separados.
A DPO se tornou uma alternativa popular e mais leve aos pipelines completos de RLHF.