ハルシネーションとは、入力内容や現実の事実に忠実でない生成コンテンツを指します。Ji ら(2023)のサーベイでは、情報源と矛盾する内在的ハルシネーションと、情報源に照らして検証できない外在的ハルシネーションを区別し、自然言語生成のさまざまなタスクにおける原因を整理しています。
ハルシネーションが起きるのは、モデルが真実ではなく「もっともらしい続き」を目指して最適化されているためです。検索に基づくグラウンディング、学習方法の改善、検証によって減らすことはできますが、なくすことはできません。
MultipleChat にとって重要な理由
複数のモデルを比較し、検索で取得した情報源に基づいて回答させることで、MultipleChat はモデル間の食い違いを明らかにし、根拠のない主張をユーザーに届く前に指摘できます。