AI の回答をファクトチェックする 5 つのステップ
この方法はどのチャットボットでも使えます。通常の回答なら数分で済み、結果に影響が出る内容であれば手間をかける価値があります。
検証できる主張を抜き出す
名前、数値、日付、引用、出典。ハルシネーションが潜みやすく、誤りの代償も最も大きい部分です。
一次情報源にあたる
裁判所のデータベース、公式統計、論文そのもの。2 つ目の AI は確認すべき箇所を絞り込むものであり、情報源の代わりにはなりません。
出典が実在するか確認する
すべての参考文献を開いてください。実在するかどうか、そして回答が主張している内容が本当に書かれているかを確認します。
意見が割れたら立ち止まる
2 つのモデルの間で事実に関する見解が分かれた場合は、使う前に確認してください。法務、医療、金融に関わる作業では、資格を持つ専門家によるレビューも加えましょう。
実際の事例：確認されなかった AI の回答がもたらした代償
「世界全体の損失は 674 億ドル」のように広く出回っている数字は、算出方法が公開されていないマーケティング向けの集計に由来するため、ここでは取り上げません。以下は公的な記録に残っている事例です。
Mata v. Avianca 事件では、弁護士が 2023年3月に提出した書面で、実在しない 6 件の判決が引用されていました。判例が本物かと尋ねられた ChatGPT は、本物であり「LexisNexis や Westlaw などの信頼できる法律データベース」で見つけられると答えました。2023年6月、P. Kevin Castel 判事は偽の判決文の 1 つに含まれる法的分析を「意味不明」と評し、弁護士とその事務所に 5,000 ドルの制裁金を科しました。
その後も、法廷からコンサルティング報告書まで同じパターンが繰り返されています。自信たっぷりの AI の回答、独立した確認の欠如、そして公の場での訂正です。解決策は AI の利用をやめることではありません。確認されていない単一の回答を信頼するのをやめることです。
AI はどのくらいの頻度で事実を誤るのか？
タスクとモデルによって大きく異なります。十分に記録された 2 つの測定結果を紹介します。
| テスト | ハルシネーション率 | 示していること |
|---|---|---|
| 特定の法律問題 GPT-3.5、PaLM 2、Llama 2 · Stanford、2024年 | 69〜88% 裁判所の中心的な判示事項では 75% 以上 | 法律文書の言い回しは模倣しやすいため、捏造された判例引用も本物らしく見えます。 |
| 人物に関する質問（PersonQA） OpenAI o3 および o4-mini システムカード、2025年4月 | o1：16% · o3：33% · o4-mini：48% | 新しい推論モデルほど、単純な事実でハルシネーションが減るどころか増えることがあります。 |
これらの数値は慎重に読んでください。どちらのテストも難しい質問セットと、すでに後継モデルに置き換えられたモデルを使っており、新しいモデルは多くのベンチマークでより良い成績を出しています。しかし、目の前の回答が正しいかどうかを教えてくれる公表値はありません。だからこそ、モデルの評判ではなく回答そのものを確認するのです。
モデルがハルシネーションを起こす理由（簡単に）
言語モデルはデータベースを検索しているわけではありません。最もありそうな次の言葉を予測しているのです。一般的なトピックでは、「ありそうなこと」と「正しいこと」はたいてい重なります。ハルシネーションはその隙間に現れます。珍しいトピック、学習データのカットオフ以降の出来事、そして判例引用のように見慣れた形式を持つもの（その判例が実在するかどうかに関係なく）です。
「本当に確かですか？」が通用しないのも同じ理由です。その質問に対する最もありそうな返答は「はい」だからです。自信は生成されたものであり、測定されたものではありません。
別系統の 2 つ目のモデルが役立つ理由
系統をまたいだ検証が最も効果的
検証役としての LLM を調べた 2025年12月の研究では、モデル系統をまたいだ検証は、自己検証や同一系統内での検証よりも効果的であることがわかりました。改善幅が最も大きかったのは数学と論理のタスクです。
ベンチマークが複数の評価者を使うのには理由がある
Google DeepMind の FACTS Grounding ベンチマークは、3 つの評価モデル（Gemini 1.5 Pro、GPT-4o、Claude 3.5 Sonnet）で回答を採点し、評価モデルが自分と同じ系統のモデルの回答をひいきするバイアスを抑えています。
学習が違えば、死角も違う
同じベンダーのモデルは学習データや癖を共有しているため、同じところでつまずきがちです。別ベンダーのモデルは、最初のモデルが見落としたものを拾えることが多いですが、常にではありません。
MultipleChat の Auto Verification の仕組み
回答が届いた後、MultipleChat は Google Gemini を使って、その回答の事実の正確性を自動でチェックできます。事実の誤り、古くなった情報、不足している文脈を確認し、回答にバッジを表示します。
モデルが回答する
いつもどおり ChatGPT、Claude、Grok、Perplexity、Gemini とチャットします。回答が先に届くので、チェックを待たされることはありません。
Gemini がチェックする
Gemini は元の質問と回答を受け取ります。1 回の呼び出しで、この種類のコンテンツに検証が適しているかを判断し、適している場合は何が正しく、どんな問題があるかを判定します。
バッジが表示される
問題が見つからなければ Verified（検証済み）、見つかれば問題の簡単な説明とともに Issues found（問題あり）が表示されます。
スマートスキップ
事実確認の効果が小さい場合は検証が自動的にスキップされ、クレジットを節約できます。
オンにする方法
Auto Verification はデフォルトでオフです。メッセージ入力欄の横にあるツールメニューで Auto-verify answers（回答を自動検証）をオンにしてください（有料プラン）。オンにすると、すべての回答が届いた直後にチェックされ、チェック 1 回につき 1 メッセージとしてカウントされます。
出典：MultipleChat ドキュメント。Gemini 自体とチャットしている場合、チェックは同じモデル系統によって行われます。系統をまたいだ視点が必要な場合は Compare Mode をご利用ください。
具体例：捏造された判例引用
Mata v. Avianca 事件を招いたのと同じ種類の失敗を示す例です。以下の判例名はこのページのために創作したものです。
「国際線のフライトに関わる人身傷害請求における衡平法上の時効停止について、米国連邦裁判所の判例を 3 件挙げてください。」
「関連する先例は Henderson v. KLM Royal Dutch Airlines, 412 F.3d 332 (2d Cir. 2005)、Cordova v. Avianca Airlines, 549 F. Supp. 2d 1208 (S.D.N.Y. 2008)、Patel v. Air India, 627 F.3d 415 (9th Cir. 2010) の 3 件です……」
本物の判例引用と同じ形式で、自信満々に提示されています。
「引用された 3 件の判例は確認できず、捏造されたものと思われます。引用は必ず法律データベースで確認してから利用してください。」
このフラグはどこを確認すべきかを教えてくれます。法律の内容を確かめるのは、引き続きあなた自身、あるいは弁護士の役目です。
それでも検証が機能しない場面
共通の死角
両方のモデルが同じ誤った事実を学習していれば、チェック役のモデルはそれを正しいと確認してしまいます。系統をまたいだチェックはこのリスクを減らしますが、なくすわけではありません。
最新の情報
どちらのモデルも、見たことのない出来事は検証できません。最新の事実については、Web 検索や出典付きの Research モードを使ってください。
程度の誤り
チェック役のモデルは、少しずれた数値（正しくは 26% なのに 30% など）よりも、捏造された事実のほうを確実に見つけます。
Auto Verification をオンにすべきタイミング
| 用途 | 推奨 | 理由 |
|---|---|---|
| 法律リサーチ | ✅ オン＋法律データベース | 判例引用の捏造は、最もよく記録されている失敗例です。 |
| 医療・健康に関する質問 | ✅ オン＋医療従事者または公式ガイダンス | 誤りは恥をかくだけでなく、実害につながる可能性があります。 |
| 財務数値 | ✅ オン＋提出書類または報告書 | 数字は、自信ありげに間違えやすいものです。 |
| 引用、統計、発言の引用 | ✅ オン | いずれも検証可能な主張です。 |
| 人物、日付、歴史 | ✅ オン | 最近の推論モデルでも、特定の人物に関する事実をよく誤ります。 |
| コード | ⏭️ 自動的にスキップ | 代わりにコードを実行してテストしてください。 |
| 創作文、意見、ブレインストーミング | ⏭️ 自動的にスキップ | 真偽は評価の尺度になりません。 |
| 計算、やり方の説明、定義、文法 | ⏭️ 自動的にスキップ | この場合、事実確認の効果は小さくなります。 |
すべての回答にセカンドオピニオンを
ChatGPT、Claude、Grok、Perplexity とチャットし、各回答の誤り、古くなった情報、不足している文脈を Gemini にチェックさせましょう。有料プランでご利用いただけます。
よくある質問
AI ファクトチェッカーとは何ですか？
AI ファクトチェッカーとは、あなたが回答を頼りにする前に、その回答に事実の誤り、古い情報、文脈の欠落がないかをレビューする 2 つ目の AI モデルです。回答を書いたモデルとは別のモデルファミリーのチェッカーを使うと、最も効果を発揮します。
AI の回答をファクトチェックするにはどうすればよいですか？
検証可能な主張（名前、数値、日付、引用、出典）を洗い出し、別のファミリーのモデルにレビューさせるか、複数のモデルを並べて比較します。そのうえで、重要な点は一次情報源で確認してください。モデル間で意見が分かれる点は、行動する前に検証しましょう。
AI は自分の回答をファクトチェックできますか？
ほとんど期待できません。LLM の検証器に関する 2025年の研究では、異なるモデルファミリー間での検証のほうが、自己検証や同じファミリー内での検証よりも効果的だとされています。モデルに「本当に確かですか？」と尋ねても、自分の回答を繰り返しがちです。
MultipleChat の Auto Verification はどのように機能しますか？
回答が届いた後、Gemini があなたの元の質問と回答を受け取ります。1 回の呼び出しで、その種類のコンテンツに検証が適しているかを判断し、適している場合は何が正しく、どんな問題があるかを判定します。その後、回答に Verified バッジ、または簡単な説明付きの Issues found バッジが表示されます。
Auto Verification は初期設定でオンになっていますか？
いいえ。Auto Verification は初期設定ではオフになっています。メッセージ入力欄の横にあるツールメニューで「Auto-verify answers」をオンにしてください。有料プランで利用できます。オンにすると、すべての回答が届いた直後にチェックされ、各チェックは 1 メッセージとしてカウントされます。
Auto Verification はすべての回答をチェックしますか？
いいえ。事実確認の効果が小さいコンテンツはスキップし、クレジットを節約します。対象外となるのは、簡単な計算、コードの生成とデバッグ、創作文、意見や主観的な質問、手順の説明、定義や文法の質問です。
AI ファクトチェッカーが間違っていたらどうなりますか？
間違えることはあります。2 つのモデルが同じ盲点を持っていると、両方が同じように間違える可能性があるため、バッジはあくまで目安であり、証明ではありません。公開、提出、または行動の根拠にするものについては、重要な主張を一次情報源で確認し、人間のレビュアーを関与させてください。
AI のハルシネーションが実際に損害をもたらしたことはありますか？
はい。Mata v. Avianca 事件（2023年）では、ChatGPT が生成した実在しない判決 6 件を引用した準備書面を提出したとして、連邦判事が弁護士 2 名とその法律事務所に $5,000 の制裁金を科しました。2025年には Deloitte Australia が、捏造された裁判所の引用と実在しない研究論文への参照を含む政府向け報告書について、A$440,000 の報酬の一部を返金することに同意しました。
出典
- Mata v. Avianca, Inc., No. 1:22-cv-01461 (S.D.N.Y. June 22, 2023)、制裁に関する決定。ABA Journal による報道。
- Smith v. Farwell（マサチューセッツ州上位裁判所、2024年2月）。Maryland State Bar Association による報道。
- Associated Press, "Deloitte to partially refund Australian government for report with apparent AI-generated errors," 2025年10月7日（CTV News 経由）。
- Dahl, Magesh, Suzgun and Ho, "Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models," Stanford RegLab and HAI, 2024年（概要）。
- OpenAI、o3 および o4-mini システムカード、2025年4月、PersonQA 評価（Techzine による報道）。
- Lu, Teehan, Jin and Ren, "When Does Verification Pay Off? A Closer Look at LLMs as Solution Verifiers," arXiv:2512.02304, 2025年12月。
- Google DeepMind, "FACTS Grounding: A new benchmark for evaluating the factuality of large language models," 2024年12月17日。
- MultipleChat ドキュメント：Auto-Verification。