本文へスキップ
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
AIエージェントの基礎

AIの誤回答(ハルシネーション)を防ぐ設計

AI SNS CHAT 編集部公開 10分で読めます

AIがもっともらしい誤回答をする原因と、根拠の絞り込み・答えない範囲・人への引き継ぎ・振り返りで防ぐ設計を、中小企業や店舗の運用目線で解説します。

「営業時間を間違えて案内された」「存在しないキャンペーンを約束されてしまった」。AIチャットボットを顧客対応に使うとき、もっとも怖いのは、もっともらしい口調で誤った内容を答えてしまうことです。この記事では、ハルシネーションが起きる仕組みを整理したうえで、モデルの性能に頼らず、設計と運用で誤回答を減らす考え方を紹介します。店舗、小規模事業者、自治体の窓口担当の方が、明日から見直せる具体的な手順を持ち帰れる内容です。

ハルシネーションとは何か、なぜ起きるのか

ハルシネーションとは、AIが事実に基づかない内容を、もっともらしく生成してしまう現象です。AIは「正しい答えを検索して返す」のではなく、「文脈にもっとも自然につながる言葉を生成する」仕組みで動いています。そのため、手元に根拠がない質問でも、空白を埋めるように自然な文章を作ってしまいます。

サポート現場で起きやすい原因は、おおまかに次の四つです。

  • 根拠が足りない: 質問に対応する情報がナレッジに存在しない
  • 根拠が古い・矛盾している: 旧料金表と新料金表が両方読み込まれている
  • 役割が曖昧: 「何でも答えるアシスタント」として設定されている
  • 一般知識で補完してしまう: 自社固有のルールを、世間一般の常識で答えてしまう

つまり、ハルシネーションは「AIの欠陥」というより、「根拠の渡し方と範囲の決め方が甘いときに起きる、設計上の問題」と捉えると対策が立てやすくなります。

中小企業や自治体で起きやすい誤回答の例

実際の現場では、次のような場面で誤回答が表面化します。

LINE公式アカウントでの予約・営業時間の案内

飲食店や美容室のLINE公式アカウントでは、「今日やっていますか」「予約は何日前まで可能ですか」といった質問が集中します。臨時休業や祝日営業の情報がナレッジに反映されていないと、AIは通常営業時間をそのまま答えてしまいます。

Webチャットでの料金・条件の案内

見積もりや料金の質問に対して、複数のページに散らばった情報を組み合わせ、存在しないプランの価格を作ってしまうことがあります。

Instagramでの問い合わせ

商品の在庫、サイズ、再入荷の予定など、リアルタイムで変わる情報は、ナレッジに書かれていなければ答えようがありません。それでもAIが「入荷予定です」と答えてしまうと、お客様との約束になってしまいます。

自治体窓口での手続き案内

ごみの分別、届出の期限、窓口の受付時間などは、年度ごとに変わります。前年度の資料が残っていると、古い手続きを案内してしまう恐れがあります。

次の図は、あくまで仮の例ですが、月に300件のチャットを振り返ったとき、誤回答の原因がどこに偏りやすいかを示したものです。

ナレッジに該当情報がなかった
12
古い情報が残っていた
7
質問の意図を取り違えた
4
一般知識で補ってしまった
3
Example: 誤回答の原因内訳(仮の数字・件数)説明用の例

この例のように、原因の多くはAIそのものではなく、ナレッジの欠落や鮮度にあることがよくあります。だからこそ、モデルを変える前に、根拠の設計を見直す価値があります。

設計の原則1:根拠にする情報を絞り、整える

誤回答を減らす最大の手段は、AIが参照する情報を「正しく、新しく、必要十分」にすることです。

情報源は少なく、一次情報を優先する

営業時間、料金、キャンセル規定、持ち物など、お客様がよく尋ねる内容は、一次情報となる一つの文書にまとめます。同じ内容が三か所に違う表現で書かれていると、AIはどれを採用するか判断できません。

古い情報は残さず、差し替える

料金改定や年度替わりのときは、旧資料を削除するか、更新します。「旧料金表」と「新料金表」が併存する状態は、誤回答の温床です。

よくある質問は、Q&A形式で書く

質問と答えをセットにしておくと、AIは根拠を取り違えにくくなります。特にLINE公式アカウントでは短い質問が多いため、「今日は営業していますか」「駐車場はありますか」のような、お客様の言葉に近い質問文で登録しておくと有効です。

「ないこと」も明示する

「当店では電話予約は受け付けていません」「返金は原則としてお受けしていません」のように、できないことも文書に書いておきます。書かれていない事柄をAIが推測で補う余地を減らせます。

整えていないナレッジ
整えたナレッジ
旧料金表と新料金表が混在している
現行の料金表だけを残している
長いPDFに全情報が詰め込まれている
質問ごとに短いQ&Aに分けている
「できないこと」が書かれていない
対応外の事柄も明記している
更新日や担当者が不明
更新の担当と時期を決めている
根拠の整え方:悪い例と良い例説明用の例

設計の原則2:答えてよい範囲と、答えない範囲を決める

根拠を整えても、質問は想定外の方向へ広がります。そこで、AIの役割と禁止事項を、あらかじめペルソナとガードレールとして定めておきます。

役割を狭く定義する

「何でも答える」ではなく、「当店の営業・予約・商品に関する質問に、登録された情報の範囲で答える」と定義します。役割が狭いほど、範囲外の質問に自信満々で答えてしまうリスクが下がります。

「わからない」と言わせる

ナレッジに根拠がないときは、推測せずに「確認できないため、担当者から改めてご案内します」と答えるよう指示します。誤った断定より、正直な保留のほうが、お客様の信頼を損ないません。

約束や判断を避けるテーマを列挙する

次のようなテーマは、AIに断定させない運用が安全です。

  • 返金や補償の可否の最終判断
  • 医療・法律・税務に関わる助言
  • 個別の契約条件の変更
  • 在庫や納期の確約
  • 自治体での、個別事情が絡む給付や認定の可否

想定外の誘導に備える

お客様の中には、悪意なく、あるいは試すつもりで、設定を無視させるような文言を送ってくる人もいます。指示の上書きを狙う入力に対するフィルタや、短時間の連続送信を抑える仕組みを併用すると、運用が安定します。

設計の原則3:迷ったら人に渡す導線をつくる

どれだけ設計しても、AIが対応しきれない質問は必ず出ます。大切なのは、そのときに「行き止まり」にしないことです。

引き継ぎの条件を決める

次のような場合は、人に渡す条件として定めておくとよいでしょう。

  1. ナレッジに根拠がなく、AIが保留した場合
  2. お客様が苦情や強い不満を示した場合
  3. 返金、キャンセル、個別条件の相談が出た場合
  4. お客様が「担当者と話したい」と希望した場合

待ち時間を作らない・約束しない

引き継ぎ時のメッセージで気をつけたいのは、根拠のない待ち時間を伝えないことです。「すぐに返信します」とAIが言ってしまえば、それ自体が誤回答になります。担当者の勤務予定に基づいて、次に何が起きるかを案内する仕組みが望ましい形です。

担当者が見られるようにする

引き継がれた会話が、担当者から見えなければ意味がありません。会話の履歴を確認し、必要ならAIを止めて人が直接返信できる運用にしておきます。

次の図は、誤回答を防ぐ全体の流れです。

  1. 01質問を受信
  2. 02登録済みの根拠を参照
  3. 03根拠あり:範囲内で回答
  4. 04根拠なし:保留して担当者へ
誤回答を防ぐ回答フロー説明用の例

設計の原則4:個人情報とAPPIの観点を組み込む

サポートの会話には、氏名、電話番号、予約内容など、個人情報が含まれます。誤回答の問題は、個人情報保護法(APPI)の観点とも無関係ではありません。

他人の情報を答えさせない

ナレッジに顧客リストや予約台帳をそのまま登録すると、別のお客様の質問に対して、他人の情報を引用してしまう恐れがあります。ナレッジには、公開してよい情報だけを入れるのが原則です。

本人確認が必要な質問は人に渡す

「私の予約を教えてください」「住所を変更したい」のような質問は、本人確認が必要です。AIが推測や曖昧な照合で答えるのではなく、担当者が確認する流れにします。

必要な情報だけを聞く

AIが会話の中で個人情報を尋ねる場合も、用件に必要な最小限に絞ります。ペルソナの指示に、「用件に不要な個人情報は尋ねない」と明記しておきます。

マイナンバーは扱わない前提にする

小規模事業者や自治体では、特定個人情報(マイナンバー)の扱いに特に厳格さが求められます。チャットで受け付ける運用は、そもそも避けるのが無難です。

なお、法令への適合は、事業者ごとの運用や体制も含めて判断されるものです。ツールを導入すれば解決する、というものではありません。

設計の原則5:回答を振り返り、育て続ける

最初から完璧なナレッジは作れません。運用を始めてからの振り返りが、誤回答を減らす本命の手段になります。

週に一度、会話ログを見る

開始直後は、週に一度、30分だけでも会話ログを見る時間をとります。確認する観点は次のとおりです。

  • 「わかりません」と保留した質問は何か(ナレッジの不足を示す)
  • お客様が低評価をつけた回答は何か
  • 担当者へ引き継がれた質問に偏りはあるか

見つけた誤りは「正解」として登録する

誤回答を見つけたら、その場で理想の回答に直し、ナレッジに反映します。同じ質問が次に来たとき、同じ誤りを繰り返さなくなります。

質問の傾向から、足りない情報を探す

よく聞かれるのにナレッジが薄いテーマは、Q&Aを追加する優先候補です。季節ごとの質問(年末年始の営業、確定申告、転入届など)も、事前に準備しておくと安心です。

変更履歴を残す

誰がいつナレッジを編集したかが追えると、「あの誤回答は、あの更新が原因だった」と特定できます。複数人で運用する店舗や部署では特に重要です。

外部検索に頼るときの注意

AIが社外のウェブ情報を検索して答える方式は、ナレッジに答えがないときの補完になります。ただし、自社固有の営業時間や料金のような内容を、外部の情報で答えさせてはいけません。使うなら、対象を公式サポートサイトなどに限り、参照したページを示す形が安全です。自社のルールに関する質問は、あくまで自社のナレッジと担当者が答える、と線引きしておきましょう。

AI SNS CHATで誤回答を減らす設定方法

ここまでの原則を、AI SNS CHATでどう実装するかを順に説明します。

1. 根拠を整える(Data sources)

サイドバーの「Data sources」から、ファイル、テキストスニペット、ウェブサイト、Q&A、Notionなどを登録できます。よくある質問は「Q&A」に、お客様の言葉に近い形で登録するのがおすすめです。Confluence、Google Drive、SharePointなどのコネクタは、Channelsから接続できます。登録後は、各データソースに誰が追加し、誰が最後に編集したかが表示されます。

2. 役割と禁止事項を決める

エージェントのペルソナとガードレールで、答える範囲、保留の方針、断定を避けるテーマを書きます。プロンプトジェネレーターやプロンプトライブラリ、14種類のスターターペルソナも使えます。エージェントごとのプロンプトインジェクションや不正利用のフィルタは、エージェントのセキュリティ設定から調整できます。

3. モデルを選んで比べる

「Agent → Settings → AI」でモデルを選べます。高度なモデルやモデルのフォールバックはHobbyプラン以上です。公開前にはPlaygroundで、想定外の質問や、答えにくい質問を試してください。Playgroundには、モデルを並べて比較するA/B比較もあります。

4. 人への引き継ぎを整える

Escalationsアクションで、人に渡す条件を設定できます。「Helpdesk → Scheduling」では、担当者ごとのシフトとタイムゾーンを設定でき、引き継ぎは勤務中の担当者に自動で割り当てられます。お客様への「次に何が起きるか」の案内文は、サーバーが勤務予定を読んで付け加え、待ち時間を勝手に作ることはありません。通知先はSlack、Teams、LINE WORKS、WhatsApp、メール、Webhookから選べます。Helpdeskの利用にはStandardプラン以上が必要です。

5. 会話を引き継ぎ、ログから育てる

LINEやWebチャットなどの会話は「Activity → Chat logs」で確認できます。フィルタ、フラグ、エスカレーション、解決済みの操作、エクスポート、高評価・低評価の確認が可能です。会話に人が入ってAIを止め、返信を理想の回答に編集して、エージェントの学習に反映することもできます。なお、「Inbox」はメール専用で、メール以外の会話はChat logsに集まります。

6. 変更を記録し、戻せるようにする

「Workspace settings → Activity」では、作成、編集、削除、アップロードの履歴を、担当者名とメールアドレス、機能、時刻つきで確認できます(オーナーと管理者向け)。エージェントには復元ポイント(1つのボットにつき最大40件)があり、設定変更で回答の質が落ちたときは巻き戻せます。

機能の全体像は機能一覧、プランごとの条件は料金ページ、データの扱いはセキュリティで確認できます。

よくある質問

ハルシネーションを完全になくすことはできますか。

完全になくすと約束できる方法はありません。根拠の整理、答える範囲の限定、人への引き継ぎ、ログの振り返りを組み合わせて、起きにくくし、起きても早く気づける状態を目指すのが現実的です。

ナレッジは多いほど精度が上がりますか。

多ければよいとは限りません。古い情報や矛盾する情報が混ざると、かえって誤回答の原因になります。現行の一次情報を中心に、質問ごとに短く整理して登録するほうが安定します。

LINE公式アカウントで、AIが答えられない質問はどうなりますか。

ナレッジに根拠がない質問は、保留して担当者に引き継ぐ設計にできます。Escalationsアクションと、Helpdeskのシフト設定を組み合わせて、勤務中の担当者に割り当てる運用が可能です。Helpdeskはスタンダード以上のプランが対象です。

公開前に、どのようなテストをすればよいですか。

Playgroundで、ナレッジにない質問、古い情報を前提にした質問、範囲外の質問、設定を無視させようとする入力を試してください。保留や引き継ぎが意図どおりに動くかを確認し、問題があればナレッジやガードレールを直してから公開します。

#ハルシネーション#AIチャットボット#ナレッジ設計#LINE公式アカウント#カスタマーサポート

AI SNS CHATで実践してみましょう

自社のコンテンツで学習したAIエージェントを作り、WebサイトやLINEなどにつなげられます。無料で始められ、クレジットカードは不要です。