学習アライメント 2026年更新

DPO（直接選好最適化）

定義

人間の選好ペアを使い、シンプルな分類損失でモデルを直接学習させるアライメント手法。RLHF で使われる独立した報酬モデルを必要としません。

Rafailov ら（2023）は、RLHF の目的関数を再パラメータ化することで、言語モデル自体が事実上その報酬モデルになることを示しました。Direct Preference Optimization では、好まれた応答と却下された応答のペアをシンプルな分類型の損失で学習します。これにより、報酬モデルと強化学習を別々に用意する複雑さや不安定さなしに、RLHF に匹敵するアライメントを実現します。

DPO は、本格的な RLHF パイプラインに代わる、より軽量な手法として広く使われるようになりました。

参考文献

この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Advances in Neural Information Processing Systems 36 (NeurIPS 2023).

出典 arXiv:2305.18290