ハルシネーションとは？——AIがもっともらしい間違いをする理由と起きやすい場面、業務で減らす4つの方法

ハルシネーションとは、AIが事実と違うことをもっともらしく答える現象

ハルシネーションとは、AIが事実と違う内容や、実際には存在しない情報を、正しいかのような自然な文章で答えてしまう現象です。英語で「幻覚」を意味する言葉で、AIがありもしないものを「見て」しまうように見えることから、こう呼ばれています。

ハルシネーションの例としては、次のようなものがあります。

• 実在しない本や論文、法律の条文を、題名や番号つきで紹介する
• 会社の設立年や所在地など、事実を間違えて答える
• 計算の途中で数字を取り違え、誤った合計を自信をもって示す
• 読ませた資料に書かれていない内容を、資料に書いてあるかのように答える

やっかいなのは、間違っているときでも、文章の調子や言い切り方が正しいときと変わらない点です。「たぶん」「分かりません」と添えてくれれば気づけますが、ハルシネーションは自然で整った文章として出てくるため、読み手が気づきにくいのです。

なお、生成AIそのものの仕組みやできること・できないことは「生成AIとは？」の記事でも説明しています。

ハルシネーションが起きる理由は、AIが「ありそうな言葉」をつなげて答えるから

ハルシネーションが起きる一番の理由は、生成AIが文章を作る仕組みにあります。生成AIは、大量の文章から学んだ言葉のつながり方をもとに、「この次に来そうな言葉」を一つずつ選んで文章を作っています。つまり、AIが目指しているのは「文章として自然であること」で、「事実として正しいこと」を一つずつ確かめているわけではありません。

そのため、次のような状況でハルシネーションが起きやすくなります。

人間に置きかえると、知らない質問をされたときに「分かりません」と言わずに、知っていそうな話をつなぎ合わせて答えてしまう状態に近いと言えます。AIの性能が上がるにつれて起きにくくなってはいますが、仕組みの性質上、完全になくすことは難しいとされています。

業務でハルシネーションが起きやすいのは、固有名詞・数字・根拠のない質問

業務の中でも、ハルシネーションが起きやすい場面と、起きにくい場面があります。どこで注意が必要かを知っておくと、確認の手間をかける場所を絞れます。

大まかに言えば、「AIが自分の知識から事実を答える」ときに起きやすく、「渡された材料を整える」ときには起きにくくなります。たとえば、取引先からの問い合わせに対して、何の資料も渡さずに「当社の納期は？」と聞けば、AIはそれらしい納期を作ってしまうかもしれません。一方、在庫表や受注データを渡して「この中から納期を探して」と頼めば、答えは渡したデータの範囲に収まりやすくなります。

アイデア出しや下書きは、多少の不正確さがあっても人が手を入れる前提なので、ハルシネーションが問題になりにくい使い方です。反対に、お客様への回答や社外に出す書類で、固有名詞や数字を扱う場合は、特に注意が必要です。

業務でハルシネーションを減らす4つの方法

ハルシネーションを完全になくすことはできなくても、業務の仕組みの工夫で大きく減らすことができます。当社がAIの仕組みを作るときに組み合わせている方法は、次の4つです。

1. 社内の資料に基づいて答えさせる：AIの知識に頼らず、マニュアル・規程・商品資料・過去のやり取りなど、正しい資料を渡して、その範囲で答えさせます。社内の資料を検索してAIに渡す仕組みは「RAG（検索拡張生成）」と呼ばれます
2. 根拠の箇所を示させる：答えと一緒に、「どの資料のどの部分をもとにしたか」を示させます。根拠が示されていない答えや、根拠と答えが食い違っている答えは、すぐに見分けられます
3. 分からないときは「分からない」と言わせる：「資料にないことは推測で答えず、分からないと答える」と指示に入れます。答えられない質問は担当者に回す流れにしておけば、無理に答えを作ることを防げます
4. 人が確認する：社外に出るもの、お金や約束に関わるものは、人が確認してから使います。AIが自信のない項目に印をつけさせれば、確認する場所を絞れます

指示文に入れておきたい一言の例

4つの方法のうち、資料に基づかせることと、分からないと言わせることは、AIへの指示文（プロンプト）に書き添えるだけでも効果があります。たとえば次のような一言です。

• 「次の資料に書かれている内容だけを使って答えてください」
• 「資料に書かれていないことは、推測せずに『資料に記載がありません』と答えてください」
• 「答えの根拠になった資料の箇所を、そのまま引用して示してください」
• 「金額・日付・固有名詞は、資料の表記のまま書いてください」

こうした一言を毎回入力するのは手間なので、業務で使う仕組みには最初から組み込んでおくのがおすすめです。社内で使い回せる指示文の型については「プロンプトとは？」の記事で説明しています。

資料に基づいて答えさせる仕組みについては「RAG（検索拡張生成）とは？」、人の確認の組み込み方は「AIの間違いを防ぐ『人の確認』はどう組み込むか」の記事で詳しく説明しています。

業務の種類ごとに、ハルシネーション対策の強さを変える

すべての業務に同じ重さの対策をかけると、確認の手間が増えすぎて、AIを使う意味が薄れてしまいます。業務の種類ごとに、間違えたときの影響の大きさを考え、対策の強さを変えるのが現実的です。

このように分けておくと、「全部確認しなければ」と身構えずに済みます。影響の小さい業務ではAIを気軽に使い、影響の大きい業務では仕組みで間違いを減らし、最後は人が確かめる、というめりはりをつけることが、AIを業務に定着させる近道です。

ハルシネーションを見つけたら、まず「何を読ませたか」を確かめる

業務でAIの間違いを見つけたときは、AIを責める前に、AIに何を渡していたかを確かめてください。古い資料を渡していた、必要な資料を渡していなかった、質問があいまいだった、といった原因が見つかることがよくあります。原因が資料や指示にあれば、そこを直すことで同じ間違いを防げます。間違いの例を集めておくと、どんな場面で起きやすいかが分かり、確認の重点も決めやすくなります。

管理職が部下にAIを使わせるときのハルシネーション対策チェックリスト

部下がAIを業務で使い始めるとき、管理職として押さえておきたい点をまとめました。ハルシネーションを怖がってAIを使わせないのではなく、性質を理解したうえで使わせることが大切です。

とくに最後の「間違いを共有して直す流れ」は見落とされがちです。同じ種類の間違いがくり返し起きるなら、AIへの指示や渡している資料に原因があることが多く、そこを直せば次から起きにくくなります。間違いを個人の不注意で終わらせず、仕組みの改善につなげてください。

当社の「月5万円のAI社員」では、社内の資料に基づいて答える仕組みや、根拠を示して人が確認しやすくする仕組みを、業務に合わせて作っています。「間違いが心配で任せられない」という業務こそ、どこまでならAIに任せられるかを一緒に整理できますので、お気軽にご相談ください。