AIチャットの回答品質を、誰が・いつ・何を見るかを決めて継続的に改善する手順を解説。LINE公式アカウントやWebチャットの例と、個人情報の扱いも紹介します。
AIチャットを公開したあと、「実際にどんな回答をしているのか」を見る時間が取れず、気づけば古い情報のまま案内していた、という話は珍しくありません。品質レビューは大がかりな仕組みでなくても、決まった頻度で少数の会話を読む習慣があれば成り立ちます。この記事では、店舗や中小企業、自治体の窓口でも続けやすいレビューの進め方を、準備、観点、サンプルの選び方、個人情報の扱い、改善の記録まで順に説明します。
なぜ「公開して終わり」にしないのか
AIチャットは、公開した日が最も正確とは限りません。営業時間、料金、キャンペーン、申請の受付期間など、案内する内容は日々変わります。一方で、AIに渡している資料やQ&Aは、誰かが更新しない限り古いままです。
レビューをしないと、次のような問題が表に出ないまま残ります。
- 営業時間の変更を反映しておらず、休業日に「営業中です」と案内してしまう
- 資料にない質問に対して、それらしい推測で答えてしまう
- 担当者への引き継ぎが必要な場面で、AIが抱え込んでしまう
- 言葉づかいが硬すぎる、または砕けすぎていて、ブランドの印象と合わない
お客様は、間違いに気づいても指摘してくれるとは限らず、黙って離れてしまうこともあります。だからこそ、運営側から会話を読みに行く仕組みが必要です。
レビューを始める前に決める3つのこと
最初に、運用のルールを小さく決めます。ここが曖昧だと、忙しい時期に真っ先に止まります。
1. 担当者を決める
専任でなくて構いません。店舗なら店長と副担当、自治体なら窓口の担当課と情報政策の担当、というように2名を目安に決めます。1人だけだと、休暇や異動で止まってしまいます。
2. 頻度と所要時間を決める
「週に1回、30分」のように、短くても固定した枠を作ります。会話量が少ない場合は隔週でも構いません。大切なのは、カレンダーに先に予定を入れてしまうことです。
3. 直す場所を決める
問題を見つけたとき、どこを直すのかを事前に整理しておきます。たいていは次の4か所のどれかです。
- 参照資料やQ&A(情報が足りない、古い)
- ペルソナやガードレール(口調、禁止事項、引き継ぎ条件)
- 引き継ぎのルール(人に渡す条件、通知先)
- 画面や導線(LINEのリッチメニュー、Webチャットの表示位置など)
何を見るか:評価の観点を5つに絞る
観点が多すぎると、読む人によって評価がぶれます。まずは次の5つで十分です。
| 観点 | 確認すること | 問題の例 |
|---|---|---|
| 正確さ | 資料と食い違っていないか | 旧料金を案内している |
| 完結性 | 質問に答え切れているか | 手順の途中で終わっている |
| 安全性 | 推測や約束をしていないか | 返金可否を断定している |
| 引き継ぎ | 人に渡すべき場面で渡せたか | クレームなのにAIが対応を続けた |
| 口調 | 自社らしい言葉づかいか | 敬語が崩れている |
各観点を「良い・要改善」の二択で記録するだけでも十分です。点数化は、慣れてからで遅くありません。
最も優先すべきは、正確さと安全性です。口調の違和感は後回しにして構いませんが、誤った料金や期限の案内は、早めに直す必要があります。
どの会話を読むか:サンプルの選び方
全件を読む必要はありません。むしろ、全件を読もうとして挫折するのが典型的な失敗です。読む会話に優先順位をつけます。
- 01引き継ぎが発生した会話
- 02低評価・フラグ付きの会話
- 03新しい話題の質問
- 04ランダムな数件
この順に見ていくと、問題が起きやすい会話から確認できます。
- 引き継ぎが発生した会話:AIで解決できなかった理由がわかります。資料不足か、判断の線引きの問題かを切り分けます。
- 低評価やフラグ付きの会話:お客様や担当者が違和感を覚えた会話です。
- 新しい話題の質問:新商品、制度変更、季節の行事などで増える質問です。資料が追いついていない可能性があります。
- ランダムな数件:問題が出ていない会話からも抜き出します。見落としを防ぐための保険です。
たとえば、月に300件のチャットがある店舗を仮定します。毎週すべてを読むのは現実的ではありませんが、次のような配分なら30分で収まります。以下はあくまで考え方を示す仮の例です。
合計60件ほどなら、1週あたり15件前後です。1件を1〜2分で読めば、30分の枠に収まります。
チャネルによる違いも意識する
LINE公式アカウントでは、短い文を続けて送る人が多く、1つの質問が複数のメッセージに分かれます。1通ずつではなく、会話の流れ全体で読みましょう。Instagramでは、投稿やストーリーズへの反応から会話が始まることがあり、前提が省略されがちです。Webチャットは、ページの内容に紐づいた質問が多く、どのページで聞かれたかで意味が変わることがあります。
個人情報の扱い:レビューで気をつけること
チャットの会話には、氏名、電話番号、住所、注文内容などが含まれることがあります。個人情報保護法(APPI)の観点では、レビューのために会話を読むことも、取り扱いの一部です。次の点を、社内ルールとして決めておくと安心です。
- 閲覧できる人を絞る:レビュー担当者と管理者に限定し、閲覧のみで足りる人には閲覧専用の権限を与えます。
- 共有時は情報を伏せる:社内の勉強会や、外部の制作会社に事例を見せるときは、氏名や連絡先を削除してから共有します。
- スプレッドシートに転記しない:記録には会話そのものではなく、「どの観点で、何が問題だったか」だけを書きます。
- 保管期間を決める:不要になった会話をいつまで残すか、社内で方針を決めておきます。
レビューの手順:30分の進め方
実際の進行を、順を追って示します。
- 前回の宿題を確認する(3分):前回決めた修正が反映されているかを確認します。
- 会話を読む(15分):先ほどの優先順位で、会話を1件ずつ読み、5つの観点で「良い・要改善」を付けます。
- 原因を分ける(5分):要改善の会話について、資料不足、ペルソナ、引き継ぎ、導線のどれが原因かを分類します。
- 直す順番を決める(5分):影響が大きいものから、次回までに直す項目を最大3つに絞ります。
- 記録する(2分):日付、見た件数、直す項目、担当者を1行ずつ残します。
3つに絞るのがポイントです。数が多いと「結局どれも直らない」状態になりやすいためです。
直したあとに確認する:変更の記録と検証
修正した内容は、必ず確かめてから公開に戻します。確認なしに直すと、別の質問への回答が変わってしまうことがあるためです。
- 同じ質問を試す:問題が見つかった質問を、そのまま入力し直して、回答が改善したかを確認します。
- 関連する質問も試す:言い方を変えた質問や、近い話題の質問も数件試します。
- 変更履歴を残す:いつ、誰が、何を変えたかを記録しておくと、「いつから回答が変わったのか」を後から追えます。
- 元に戻せるようにしておく:うまくいかなかったときに、前の状態へ戻せる手段を用意します。
月に一度は、記録を見返して傾向を確認しましょう。同じ種類の問題が繰り返されているなら、個別の修正ではなく、資料の構成や運用ルールそのものを見直すサインです。
AI SNS CHATでチャット品質レビューを進める方法
AI SNS CHATでは、会話を読む、直す、確かめる、記録するという流れを、ダッシュボードの中で完結できます。
会話を読む:Activity → Chat logs
LINE公式アカウント、Webチャット、Instagramなど、メール以外のチャネルの会話は、サイドバーの「Activity → Chat logs」に集まります。メールだけは「Inbox」で扱います。Chat logsでは次のことができます。
- フィルターで会話を絞り込む
- 親指の上げ下げによる評価を確認する
- 会話をまとめて選び、フラグ付け、エスカレーション、解決済みへの変更、削除を行う
- 会話を書き出して、社内のレビュー資料に使う
週次レビューでは、まず評価の低い会話とフラグ付きの会話を絞り込み、続いて引き継ぎが発生した会話を確認すると効率的です。
傾向を見る:Analytics
「Analytics」には、Chats、Topics、Question history、Sentimentがあります。Topicsや質問履歴を見れば、最近増えている質問がわかり、資料の追加が必要な話題を見つけられます。なお、高度な分析はProプラン以上が対象です。
直す:理想の回答に編集して学習させる
Chat logsやInboxでは、AIの返信を理想の回答に編集して、エージェントに学習させられます。問題のあった回答をその場で正しい内容に直せるので、レビューと改善が同じ画面で完結します。資料そのものの不足は、「Data sources」のQ&Aやテキストスニペット、ファイル、Webサイトなどに追加して補います。
試す:Playground
修正後は、Playgroundで同じ質問を入力し直して確認します。モデルを変えて比べたい場合は、Playgroundのモデル比較(A/B)も使えます。高度なモデルとモデルのフォールバックはHobbyプラン以上が対象です。
記録と巻き戻し
「Workspace settings → Activity」では、オーナーと管理者が、作成、編集、削除、アップロードの履歴を確認できます。名前、メールアドレス、機能、時刻が記録され、各データソースにも、追加した人と最後に編集した人が表示されます。エージェントには復元ポイント(1つのボットにつき最大40件)があり、改善がうまくいかなかったときに元の状態へ戻せます。
引き継ぎとあわせて見直す
「Helpdesk → Scheduling」でシフトを設定すると、引き継ぎはシフト中の担当者に自動で割り当てられます。通知先はSlack、Teams、LINE WORKS、WhatsApp、メール、Webhookから選べます。Helpdeskは、Standardプラン以上が対象です。
権限と保管
メンバーには、Owner、Co-owner、Member、Support、Viewerの役割があり、閲覧だけの人にはViewerを割り当てられます。会話の保管期間は、任意で設定できる保持期間の仕組みがあります(既定では無期限です)。セキュリティの考え方はセキュリティのページで、個人情報保護法(APPI)やGDPRを参考に設計した旨とあわせて説明しています。
操作に迷ったときは、Synthiaに聞くと、該当する画面まで案内してもらえます。機能の詳細は機能一覧、プランの違いは料金で確認できます。
よくある質問
レビューは毎日やるべきですか?
公開直後の1〜2週間は、毎日10分ほど読むと問題を早く見つけられます。安定してきたら、週1回30分程度に切り替えるのが現実的です。会話量が少ない場合は、隔週でも構いません。
担当者が1人しかいない場合はどうすればよいですか?
読む件数を減らして、引き継ぎが発生した会話と低評価の会話だけに絞ってください。1人運用では、続けられることが最優先です。休暇に備えて、手順を1枚のメモにまとめておくと、代役が立てやすくなります。
会話に個人情報が含まれていても、レビューで読んでよいですか?
利用目的の範囲内で、権限を持つ担当者に限って読むのが基本です。社内で共有する際は氏名や連絡先を伏せ、記録には会話そのものを転記しないようにしましょう。具体的な法的判断は、自社の担当者や専門家に確認してください。
良い回答と悪い回答の基準が、担当者ごとにずれます。
最初に、判断に迷った会話を数件持ち寄り、全員で「良い・要改善」を決めてみてください。そこで出た理由を一文で書き残すと、基準の共有に役立ちます。観点を増やさず、5つに絞ったまま運用するのも有効です。


