بيّن Rafailov وزملاؤه (2023) أنه يمكن إعادة صياغة هدف RLHF بحيث يكون النموذج اللغوي، في الواقع، نموذج المكافأة الخاص به. ثم يُدرِّب التحسين المباشر للتفضيلات النموذجَ على أزواج من الردود المفضَّلة مقابل المرفوضة بدالة خسارة بسيطة على نمط التصنيف — محقّقًا مواءمة مماثلة لـ RLHF من دون تعقيد نمذجة المكافأة المنفصلة والتعلّم المعزّز وعدم استقرارهما.
أصبح DPO بديلًا شائعًا وأخفّ وزنًا لمسارات RLHF الكاملة.