ChatGPT はなぜ間違った回答をするのか?
ChatGPT に簡単な質問をすると、洗練された自信に満ちた文章が返ってきます。その回答はいかにも権威がありそうに聞こえるので、つい信じてしまいます。しかし、今読んだ内容は完全な作り話かもしれません。これがハルシネーションの問題であり、多くの人が思っているよりはるかに頻繁に起きています。
ChatGPT は何も「知って」はいません。学習データの統計的なパターンに基づいて、次に来る可能性が最も高い単語を予測しているだけです。あるトピックについて確かな情報がない場合でも、立ち止まって不確かさを認めることはなく、推測で答えます。そしてその推測は、本物の事実と見分けがつかないように聞こえることが多いのです。
OpenAI 自身も、核心的な問題を認めています。標準的な学習と評価の手順は、不確かさを認めることよりも自信を持って推測することを評価してしまうのです。誤答に減点のない多肢選択式の試験を想像してください。合理的な戦略は、空欄を残さず常に推測することです。ChatGPT がしているのはまさにそれですが、適当な記号を塗りつぶす代わりに、推測を中心に手の込んだ説得力のある文章を組み立ててしまいます。
根本原因
真実より確率。大規模言語モデル(LLM)は、事実として正確なテキストではなく、統計的にありそうなテキストを生成するよう最適化されています。正しい答えが学習データに十分に含まれていない場合、ChatGPT はそれが真実かどうかに関係なく、最も確率の高い単語の並びを生成します。
学習データの問題。ChatGPT は膨大な量のインターネット上のテキストから学習しており、その中には査読済みの研究と並んで、Reddit のスレッド、意見ブログ、陰謀論のコンテンツ、古い記事などが含まれています。モデルには、信頼できる情報源とそうでない情報源を区別する仕組みが組み込まれていません。
自分の誤りを自覚できない。ChatGPT は自分が間違っていることに気づけません。内部にファクトチェックの仕組みがないのです。ユーザーが満足すると予測したテキストを生成しますが、満足と正確さはまったく別物です。
迎合バイアス。最近の ChatGPT モデルは、過度に同調的であるとはっきり批判されてきました。4o のアップデートが公開された際、レビュアーたちは異常なほど高い迎合性を指摘しました。モデルが正確な内容ではなく、ユーザーが聞きたいことを伝えてしまうのです。
数字で見る:ChatGPT はどのくらい間違えるのか?
実際のエラー率は、何を質問するかによって大きく異なります。国の首都のような、単純で十分に記録された事実については、ChatGPT はかなり信頼できます。しかし、複雑な推論、ニッチなトピック、最新情報が必要な内容に踏み込んだ途端、数字は憂慮すべきものになります。
| 指標 | 割合 | 出典/状況 |
|---|---|---|
| MMLU Pro における GPT-5(学術) | 約13%が誤り | 正答率87%、48モデル中3位 |
| 複雑な推論/オープンドメインの知識想起 | 最大33%以上が誤り | 2025年のベンチマークのメタ分析 |
| GPT-4o のハルシネーション率(グラウンディングあり) | ~1.5% | Vectara Hallucination Leaderboard 2025 |
| 思考モードを使った GPT-5 | ~4.8% | 事実に関する質問への捏造回答 |
| 法律分野のコンテンツにおける ChatGPT | ~6.4% | 分野別のハルシネーションテスト |
| GPT-3.5 の捏造された参考文献 | ~40% | 存在しない情報源を引用 |
| GPT-4 の捏造された参考文献 | ~29% | 改善されたものの、依然として約3件に1件 |
結論:現在利用できる最も高度な ChatGPT モデルである GPT-5 でさえ、学術的な質問の約8問に1問で事実の誤りを犯します。推論、時事問題、専門分野を含むより難しいタスクでは、エラー率は大幅に上昇します。しかも、モデルが推測で答えているときに警告してくれることはほとんどありません。
よく遭遇する ChatGPT のエラー5種類
ChatGPT のミスはすべて同じ形をしているわけではありません。エラーの種類を理解しておけば、誤った情報を与えられているときに気づきやすくなります。