RLHF 先根据人类对模型输出的两两比较训练一个奖励模型，再通过强化学习针对这一奖励来优化语言模型。Christiano 等人（2017）提出了从人类偏好中学习的方法；Stiennon 等人（2020）把它应用于文本摘要；Ouyang 等人（2022）则用它打造了 InstructGPT，这正是当今能听从指令的 AI 助手背后的配方。
一个原始的下一个 token 预测器，和一个让人感觉有用、诚实、可以放心交流的模型之间，很大程度上就差在 RLHF。
训练对齐
2026 年更新
RLHF（基于人类反馈的强化学习）
定义
一种利用人类偏好评分来训练模型的方法，让模型学会人们真正更喜欢哪些回答，从而变得更有用、对齐得更好。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Deep Reinforcement Learning from Human Preferences
Learning to summarize from human feedback
Training language models to follow instructions with human feedback
词典与百科条目
- Wikipedia — Reinforcement learning from human feedback
- IBM — Think / Topics — What is RLHF?
引用本条目
MultipleChat.《RLHF（基于人类反馈的强化学习）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/rlhf