学習アライメント 2026年更新

RLHF（人間のフィードバックによる強化学習）

定義

人間による選好評価を使い、人が実際にどの応答を好むかをモデルに教える学習手法。モデルをより有用にし、アライメントを高めます。

RLHF では、モデル出力を人間が比較した結果に報酬モデルを当てはめ、その報酬に対して強化学習で言語モデルを最適化します。Christiano ら（2017）が人間の選好からの学習を提案し、Stiennon ら（2020）がそれを要約タスクに応用しました。そして Ouyang ら（2022）はこれを用いて InstructGPT を構築しました。これが、現在の指示に従うアシスタントを支える手法です。

単なる次トークン予測器と、話していて役に立ち、誠実で、安全だと感じられるモデルとの違いの多くは、RLHF によって生まれています。

参考文献

この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。

Deep Reinforcement Learning from Human Preferences
Christiano, P., Leike, J., Brown, T. B., Martic, M., Legg, S., & Amodei, D. (2017). Advances in Neural Information Processing Systems 30 (NeurIPS 2017).
Learning to summarize from human feedback
Stiennon, N., Ouyang, L., Wu, J., Ziegler, D. M., Lowe, R., Voss, C., Radford, A., Amodei, D., & Christiano, P. (2020). Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
Training language models to follow instructions with human feedback
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., et al. (2022). Advances in Neural Information Processing Systems 35 (NeurIPS 2022).

辞書・百科事典の項目

この項目を引用する

MultipleChat「RLHF（人間のフィードバックによる強化学習）」MultipleChat AI・LLM 用語集、2026年。https://multiple.chat/ai-glossary/rlhf

関連用語

アライメント
AI システムの振る舞いを人間の意図や価値観に沿わせる取り組み。モデルが指示に従う理由…
ファインチューニング
事前学習済みモデルを専門的な追加データでさらに学習させ、特定の分野やタスク、…に適応させること
LLM（大規模言語モデル）
LLM は Large Language Model（大規模言語モデル）の略です。膨大なテキストで学習し、次のトークンを予測する AI システム…
用語集の一覧に戻る

実際に試してみる

同じプロンプトを ChatGPT、Claude、Gemini、Grok、Perplexity で並べて実行できます。手持ちのファイルをコンテキストに使い、回答同士を照らし合わせて確認できます。

MultipleChat を無料で試す

さらに詳しく

関連するAIガイドと次のステップ

有料プランを見る
比較

AIモデルを比較

同じプロンプトを複数のモデルに送り、どの回答が通用するか確かめられます。

 ヒューマナイザー

AI ヒューマナイザー

AIの下書きを別のモデルで書き直し、自然な文章に整えます。

 無料

無料AI ヒューマナイザー

有料プランに進む前に、無料でAI文章を自然な表現に整えられます。

 検出ツール

AI検出ツール

AIらしい文章のパターンを見つけ、必要な部分だけ書き直せます。

 ガイド

AI検出を回避する

検出ツールが何を測っているかを理解し、誠実に書く方法がわかります。

 ワークスペース

オールインワンAI

ChatGPT、Claude、Gemini、Grok、Perplexity を1つのワークスペースで。

 無料ツール

無料のAIツール

まず無料ツールから始め、複数モデルの作業が時間を節約すると感じたら有料へ。