定義
AIハルシネーションとは、LLMが意味をなさない、または与えられた情報源に忠実でない文章を生成したり、根拠のないことを述べたりすることです。音声エージェントでは、発信者が確かめられない、自信ありげな音声の回答になります。
AIハルシネーションの仕組み
LLMは、次にもっともらしく来る内容を予測して文章を作ります。流暢で確率の高い文章を書くように訓練されており、事実を確認するようには訓練されていません。そのため、情報が足りないときでも、もっともらしく聞こえる答えを作り出せます。
Jiらの調査は、ハルシネーションを起こした文章を、意味をなさない、または与えられた情報源の内容に忠実でないものと説明しています。問題は2つに分けられます。
- 内在的。 出力が情報源と矛盾します。文書では返品は45日間受け付けるとあるのに、モデルが30日と答える場合です。
- 外在的。 出力が情報源から検証できません。文書にまったく書かれていない規定を、モデルが付け加えます。調査は、そのような文章が必ずしも誤りではないものの、通常は慎重に扱われると述べています。
原因には、学習データの欠落、曖昧な質問、誤った箇所を返した検索、常に答えを出すようモデルに促す指示があります。モデルは嘘をついているわけではありません。自分が何を知らないかについての感覚が、そもそも備わっていないのです。
減らすには、複数の対策を組み合わせます。ナレッジベースやツール呼び出しを通じて、使うべき事実をモデルに与え、知らないときはそう言うよう指示します。機微な事実は、モデルの記憶ではなく、正本のシステムに置いてください。自社の資料に答えのない質問でテストします。
音声エージェントにとって重要な理由
発信者は情報源を見られず、さかのぼってスクロールもできず、エージェントが言ったことを追及するのも簡単ではありません。価格、期限、薬についての誤った音声の回答は、一度聞かれ、それに基づいて行動されるかもしれません。音声は確信も誘います。滑らかな話し方は、でっち上げの答えを正しい答えと同じくらい確かなものに聞かせます。
音声認識は、誤答への2つ目の経路を加えます。認識エンジンが「15」を「50」と聞き違えれば、モデルは間違った質問に完璧に答えられます。重要な詳細を読み返して確認すれば、これを捕捉できます。
音声エージェントの実践的な対策です。
- 推測せずに、「その情報はありません」と言って、転送を提案するようエージェントに指示する。
- 注文状況のような最新の事実は、記憶に頼らずツールで取得する。
- 法律や医療のアドバイスなど、誤答の代償が大きい話題にはガードレールを加える。
- 録音された通話を確認し、自社の文書にない回答がないか調べる。
例
失敗の例（説明用）です。発信者が、サービスプランが水濡れ被害を補償するか尋ねます。文書には書かれていません。常に役に立つようにと指示されたエージェントは「はい、水濡れ被害は補償されます」と答えます。知らないときはそう言うよう指示されたエージェントは「確認できません。確認できる者におつなぎします」と答えます。