Rafailov et al. (2023) demostraron que el objetivo del RLHF puede reparametrizarse de modo que el modelo de lenguaje sea, en la práctica, su propio modelo de recompensa. La optimización directa de preferencias entrena entonces con pares de respuestas preferidas frente a rechazadas mediante una sencilla pérdida de tipo clasificación, y logra una alineación comparable a la del RLHF sin la complejidad ni la inestabilidad de un modelado de recompensa y un aprendizaje por refuerzo por separado.
La DPO se ha convertido en una alternativa popular y más ligera a los flujos completos de RLHF.