Rafailov 等人（2023）证明，可以对 RLHF 的目标进行重新参数化，使语言模型实际上成为它自己的奖励模型。直接偏好优化随后用一种简单的分类式损失，在“偏好回答与被拒回答”的成对数据上进行训练——实现与 RLHF 相当的对齐效果，却免去了单独奖励建模和强化学习的复杂性与不稳定性。
DPO 已成为完整 RLHF 流程的一种流行且更轻量的替代方案。
训练对齐
2026 年更新
DPO（直接偏好优化）
定义
一种对齐方法：用简单的分类损失直接在人类偏好对上训练模型，省去了 RLHF 中单独的奖励模型。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
词典与百科条目
- Wikipedia — Direct preference optimization
- Hugging Face — DPO Trainer
引用本条目
MultipleChat.《DPO（直接偏好优化）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/dpo