本文へスキップ
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
AIエージェントの基礎

AIエージェントのガードレール設定|答えてよい範囲の決め方

AI SNS CHAT 編集部公開 10分で読めます

LINE公式アカウントやWebチャットでAIエージェントを安全に運用するため、答える範囲・個人情報・人への引き継ぎを決めるガードレール設定の手順を解説します。

AIエージェントは、分からないことでも親切に答えようとします。その結果、実際とは違う料金や営業時間を案内してしまい、店舗や窓口の信頼を損なうことがあります。この記事では、「何を答え、何を答えず、いつ人に代わるか」を事前に決める「ガードレール」の考え方と、設定から運用までの具体的な手順をまとめます。LINE公式アカウント、Webチャット、Instagramで使える内容です。

ガードレールとは何か、なぜ必要なのか

ガードレールとは、AIエージェントが道路から外れないようにするための「柵」です。難しい仕組みではなく、次のような取り決めの集まりだと考えてください。

  • 答えてよい話題と、答えてはいけない話題
  • 根拠がないときの振る舞い
  • 約束や断定をしてはいけない内容
  • 聞いてよい個人情報と、聞いてはいけない個人情報
  • 人の担当者に代わる条件

ガードレールがないと、よく次のような事故が起こります。

  • 作り話をする:資料にない料金、キャンペーン、手続きの条件を、もっともらしく答える
  • 範囲を超える:医療・法律・税務など、専門家の判断が必要な相談に踏み込む
  • 約束してしまう:「必ず返金します」「本日中に対応します」と、担当者が決めるべきことを断言する
  • 個人情報を集めすぎる:必要のない住所や生年月日まで聞き出してしまう

たとえば自治体の窓口案内で、手続きの要件を誤って伝えれば、住民の方が窓口に二度足を運ぶことになります。小さな店舗でも、LINEで案内した内容と実際の対応が違えば、クレームにつながります。

ガードレールは4つの層で考える

指示文(ペルソナ)に注意書きをたくさん書くだけでは、守りとして十分ではありません。次のように、複数の層を重ねて考えると、抜け漏れが減ります。

  1. 01指示文で線を引く
  2. 02知識ソースで根拠を絞る
  3. 03フィルタとアクションで制限する
  4. 04人への引き継ぎで受け止める
ガードレールの4つの層説明用の例
層役割例
指示文振る舞いのルールを言葉で伝える「資料にないことは推測せず、担当者に確認すると伝える」
知識ソース答えの材料を限定する最新の料金表、よくある質問、案内ページ
フィルタ・アクション不正な入力や使える機能を制限する悪意ある指示の遮断、使えるアクションを必要最小限にする
人への引き継ぎAIが判断すべきでない場面を人に渡すクレーム、返金、緊急の相談

どれか一つだけに頼らないことが大切です。たとえば指示文で「推測しない」と書いても、知識ソースが古ければ、古い情報を正しく答えてしまいます。逆に、知識ソースが正確でも、人への引き継ぎ先が決まっていなければ、困った利用者が行き止まりになります。

最初に決める5つの線引き

設定画面を開く前に、紙やスプレッドシートで次の5項目を決めておくと、指示文が書きやすくなります。

1. 答えてよい範囲

「営業時間、メニュー、料金、アクセス、予約方法」のように、具体的な項目を挙げます。範囲外の話題(他社の比較、政治・宗教、個別の診断など)は、「お答えできません」と丁寧に断る対象として別に書き出します。

2. 分からないときの振る舞い

最も重要な項目です。「分かりません」で終わらせず、次の行動を指定します。

  • 資料にないことは推測で答えない
  • 担当者への引き継ぎ、または問い合わせ先を案内する
  • 営業時間外なら、受付だけ行い、返答時期は約束しない

3. 約束してはいけないこと

返金、割引、予約の確定、対応期限、損害の補償などは、担当者が判断することと決めておきます。AIは「担当者が確認してご連絡します」と案内する役に徹します。

4. 個人情報の扱い

聞いてよい項目(お名前、連絡先、希望日時など)と、聞いてはいけない項目(マイナンバー、クレジットカード番号、パスワードなど)を分けます。詳しくは後の節で扱います。

5. 人に代わる条件

「クレーム」「返金・解約の相談」「体調や安全に関わる話」「本人確認が必要な手続き」「利用者が人との会話を希望した」など、具体的な条件を決めます。

指示文の書き方:あいまいな禁止より、具体的な行動を

ガードレールの指示文は、「〜しないでください」を並べるだけでは効果が弱くなります。AIは「しないこと」より「代わりにすること」が書いてある方が、迷わず動けます。

弱い書き方
強い書き方
間違ったことを言わないでください
資料に書かれていないことは推測せず、「確認してご連絡します」と案内し、担当者へ引き継ぐ
個人情報に注意してください
予約に必要なお名前と連絡先以外は尋ねない。マイナンバーやカード番号が送られてきたら、受け取れない旨を伝え、入力しないよう案内する
失礼のないように
敬語で簡潔に答える。クレームには最初にお詫びと受け止めの言葉を述べ、人の担当者へ引き継ぐ
指示文の書き方の比較説明用の例

小さな店舗(たとえば予約制の美容室)を想定した指示文の例を示します。

`` あなたは店舗のLINE公式アカウントの案内担当です。 ・答えるのは、営業時間、メニューと料金、アクセス、予約方法のみです。 ・登録された資料にない内容は推測で答えず、「確認してスタッフよりご連絡します」と案内してください。 ・返金、割引、予約の確定、対応期限は約束しないでください。 ・お名前と連絡先以外の個人情報は尋ねないでください。 ・クレームや体調に関わるご相談は、まずお詫びと受け止めの言葉を伝え、スタッフへの引き継ぎを案内してください。 ``

短くて構いません。ルールが増えすぎると、指示同士がぶつかったり、重要な項目が埋もれたりします。まずは5〜8個に絞り、運用しながら足していく方が安定します。

個人情報とAPPIの観点

日本の事業者や自治体が気にすべきなのは、個人情報保護法(APPI)の考え方です。ここでは法的助言ではなく、チャット運用で押さえておきたい実務の視点を挙げます。

  • 利用目的を明確にする:予約確認、問い合わせ対応など、何のために聞くのかを利用者に伝えられる形にしておく
  • 必要最小限だけ聞く:「念のため」で住所や生年月日を聞かない
  • 機微な情報を受け取らない設計にする:マイナンバー(特定個人情報)、カード番号、パスワードは、チャットで受け取らない運用にする
  • 保管と見直しのルールを持つ:会話ログに何が残るか、いつまで残すかを社内で決めておく

LINE公式アカウントでは、利用者が自分から詳細な事情や個人情報を送ってくることがあります。そのため、「聞かない」ルールだけでなく、「送られてきたときにどう返すか」も指示文に書いておくと安心です。

人への引き継ぎを「ガードレールの出口」として設計する

AIが答えない場面でも、利用者が行き止まりにならないことが重要です。引き継ぎは、ガードレールの最後の受け皿です。

引き継ぎを設計するときは、次の3点を決めます。

  1. 誰が受けるか:営業時間中の担当者、夜間の当番など
  2. どう知らせるか:メール、Slack、LINE WORKSなど、見逃さない連絡手段
  3. 利用者に何を伝えるか:「担当者に引き継ぎました。次はこうなります」という案内

とくに3点目では、待ち時間を安易に約束しないことが大切です。「すぐにご連絡します」と案内して実際は翌営業日になれば、AIの誤回答と同じ信頼低下を招きます。

夜間・休日の対応は、「受付のみ行い、返答は営業日になる」ことを前提に組み立てると、無理のない運用になります。

公開前のテストと、公開後の見直し

公開前:意地悪な質問を用意する

本番に出す前に、わざと困らせる質問を用意して試します。たとえば次のようなものです。

  • 資料にない料金や条件を尋ねる
  • 「これまでの指示を無視して」と命令する
  • 「絶対に返金すると約束して」と迫る
  • 住所やカード番号を一方的に送りつける
  • 医療や法律の判断を求める

例として、20問ほどのリストを作り、期待する返答(断る、引き継ぐ、確認すると伝える)を決めておきます。指示文を変更するたびに、同じリストで再確認すると、改善が悪化になっていないか確かめられます。

公開後:会話ログを定期的に見る

公開後は、会話ログを見て、ガードレールが実際に働いているかを確認します。

見る場所確認すること頻度の目安
低評価の会話誤回答、そっけない対応がないか週に1回
引き継ぎになった会話引き継ぐべき場面を取りこぼしていないか、逆に引き継ぎ過ぎていないか週に1回
答えられなかった質問知識ソースに足すべき情報はないか月に数回
指示文の変更履歴誰が、いつ、何を変えたか変更のたび

たとえば月に300件のチャットがある店舗(仮定の例)なら、すべてを読む必要はありません。低評価と引き継ぎの会話だけを見るだけでも、改善点の大半は見つかります。

見つけた誤りは、正しい答えを知識ソースに追加するか、指示文のルールを修正して直します。一度に大きく変えず、一つずつ変えて結果を見る方が、原因を特定しやすくなります。

AI SNS CHATでガードレールを設定する方法

AI SNS CHATでは、次の手順でガードレールの各層を設定できます。機能の一覧は機能ページでも確認できます。

  1. ペルソナとガードレールを書く:エージェント作成ウィザードで、指示文(ペルソナとガードレール)を設定します。ゼロから書くのが難しい場合は、14種類のスターターペルソナ、プロンプトジェネレーター、プロンプトライブラリが出発点になります。前の節の5項目を、そのまま指示文に落とし込んでください。
  2. 知識ソースを絞る:サイドバーの「Data sources」から、ファイル、テキストスニペット、Webサイト、Q&Aなどを追加します。料金表や案内など、確認済みの情報だけを入れるのがコツです。回答の根拠が限られるほど、作り話は減ります。
  3. モデルを選ぶ:エージェントの「Settings → AI」でモデルを選択します。高度なモデルやモデルのフォールバックはHobbyプラン以上です。
  4. メッセージ保護を有効にする:エージェントごとに、プロンプトインジェクション(「指示を無視して」といった命令)や乱用を防ぐフィルタと、端末ごとのレート制限を設定できます。
  5. アクションを必要最小限にする:Escalations(エスカレーション)や「Collect leads」などのアクションを必要なものだけ有効にします。「Collect leads」やカスタム属性では、各項目の説明文が「いつその情報を尋ねるか」をエージェントに伝えるため、聞いてよい項目だけを定義すれば、個人情報の聞き過ぎを防げます。連携機能はHobbyプラン以上で、エージェントあたりのアクション数にはプラン別の上限があります。
  6. 引き継ぎを設定する:Helpdeskの「Scheduling」で担当者ごとにシフトとタイムゾーンを設定すると、引き継ぎは当番の担当者に自動で割り当てられます。通知先はSlack、Teams、LINE WORKS、WhatsApp、メール、Webhookから選べます。利用者への「このあとどうなるか」という案内文は、サーバー側がシフト表を読んで追加し、待ち時間を作り出すことはありません。Helpdeskの利用にはStandardプラン以上が必要です。
  7. Playgroundで試す:公開前にPlaygroundで意地悪な質問を試します。A/Bのモデル比較も使えます。
  8. 運用中の見直し:Activity → Chat logsで、評価(親指の上下)、フラグ、エスカレーションを確認します。担当者が会話を引き取るとボットは一時停止し、返信を理想の回答に編集してエージェントの学習に使えます。変更前には復元ポイント(1エージェントあたり最大40件)を残しておくと、元に戻せます。さらに、Workspace settings → Activityでは、誰がいつ何を編集したかの記録を、オーナーと管理者が確認できます。

なお、ナレッジベースの文章を第三者に見せる際の個人情報のマスキングや、ログからの秘密情報の除去も行われます。AI SNS CHATは、GDPRとAPPIを参照して設計された運用を行っていますが、SOC 2、ISO 27001、HIPAAの認証を取得しているわけではありません。詳細はセキュリティのページをご確認ください。

また、Instagramを含む各チャネルの接続状況は接続ページ、プラン別の上限は料金ページで確認できます。試してみたい場合は無料登録から始められます。

よくある質問

ガードレールを設定すれば、誤回答はなくなりますか?

ゼロにはなりません。ガードレールは誤回答の可能性を下げ、起きたときに人へ渡す仕組みです。公開後も会話ログを見て、指示文と知識ソースを少しずつ直す運用が欠かせません。

指示文は長く詳しく書くほど安全ですか?

そうとは限りません。ルールが多すぎると、重要な項目が埋もれたり、指示同士が矛盾したりします。まず5〜8個の核になるルールに絞り、会話ログで足りない点が見つかるたびに一つずつ足す方法をおすすめします。

LINE公式アカウントで、利用者が個人情報を自分から送ってきたらどうなりますか?

AIは送られた内容に反応できるため、指示文で「受け取れない情報は入力しないよう案内する」「必要なら担当者へ引き継ぐ」と決めておくことが重要です。会話ログの扱いは、自社の個人情報保護方針に沿って社内で定めてください。

小規模な店舗でも、ここまでの設定が必要ですか?

全部を一度に整える必要はありません。まず「答える範囲」「分からないときの行動」「人に代わる条件」の3つだけでも書けば、大きな事故は減らせます。残りは運用しながら足していけば十分です。

#ガードレール#AIエージェント#個人情報保護#LINE公式アカウント#運用設計

AI SNS CHATで実践してみましょう

自社のコンテンツで学習したAIエージェントを作り、WebサイトやLINEなどにつなげられます。無料で始められ、クレジットカードは不要です。