Rafailov et al. (2023) zeigten, dass sich das RLHF-Ziel so umparametrisieren lässt, dass das Sprachmodell faktisch sein eigenes Belohnungsmodell ist. Direct Preference Optimization trainiert dann auf Paaren aus bevorzugten und abgelehnten Antworten mit einer einfachen, klassifikationsartigen Verlustfunktion – und erreicht ein mit RLHF vergleichbares Alignment ohne die Komplexität und Instabilität separater Belohnungsmodellierung und bestärkenden Lernens.
DPO ist zu einer beliebten, schlankeren Alternative zu vollständigen RLHF-Pipelines geworden.