本文へスキップ
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

AI自己解決率の正しい測り方

AI SNS CHAT 編集部公開 8分で読めます

AI自己解決率が高く出すぎる理由と、分母・分子の決め方、再問い合わせを使った補正、LINEやWebチャットでの測定手順を解説します。

「AIが7割を自己解決しています」という報告を受けても、その数字が何を数えたものか分からなければ、改善の判断には使えません。多くの現場では、人に引き継がれなかった会話をすべて「解決」とみなしてしまい、実態より高い数字が出ています。

この記事では、自己解決率の定義、分母と分子の決め方、LINE公式アカウントやWebチャットでの測り方、個人情報の扱いまでを順に整理します。小さな店舗や自治体の窓口でも、表計算ソフトだけで再現できる手順です。

自己解決率の数字がぶれる理由

自己解決率という言葉に、統一された定義はありません。同じ「70%」でも、数えているものは会社ごとに違います。

ぶれる原因は、主に次の三つです。

  • 分母に何を入れるか(営業時間外の挨拶、テスト送信、スパムを含めるか)
  • 「解決」を何で判定するか(人に引き継がれなかっただけか、お客様が納得したか)
  • いつまでの期間で見るか(会話の直後か、数日後の再問い合わせまで含めるか)

特に注意したいのは、「人に引き継がれなかった」ことと「解決した」ことは別だという点です。答えが分からないまま、お客様が黙って去ることもあります。この会話は、人に引き継がれていないので、単純な集計では「AIが解決した」側に数えられてしまいます。

解決・封じ込め・放棄を分けて考える

最初にやるべきことは、会話の結末を三つに分けることです。

結末
意味と扱い
解決
お客様の疑問が解けた。自己解決率の分子に入れる
封じ込め(人に回らなかった)
引き継ぎは発生しなかったが、解決したとは限らない
放棄
答えを得られないまま離脱した。解決には入れない
会話の結末の三分類説明用の例

「封じ込め率」は、人に引き継がれなかった会話の割合です。これは運用の負荷を測るには便利ですが、品質の指標ではありません。封じ込め率だけを追うと、AIが無理に自力で答えようとして、誤った案内が増えるおそれもあります。

目安にするなら、次の関係を意識してください。

  • 封じ込め率は、自己解決率の上限になる
  • 自己解決率は、封じ込め率から放棄と再問い合わせを差し引いたもの
  • 両者の差が大きいほど、見えていない不満が溜まっている

分母と分子を決める

定義の第一歩は、計算式を文章で固定することです。次の形をおすすめします。

自己解決率 = AIだけで解決した会話数 ÷ 対象会話数

分母(対象会話)の決め方

分母には「AIが答えるべき問い合わせ」だけを入れます。次のものは除外します。

  • 担当者や開発者によるテスト送信
  • スパム、営業メッセージ、誤送信
  • 友だち追加直後の自動あいさつだけで終わった会話
  • 方針としてAIの対象外にしている相談(苦情対応、個別の契約相談など)

除外した件数も、毎月記録しておきましょう。除外ルールが毎月変わると、比較ができなくなります。

分子(解決)の決め方

分子は「引き継ぎがなく、かつ次の条件を満たす会話」とします。

  1. 会話の最後にAIが具体的な回答を返している
  2. お客様が低評価をつけていない
  3. 同じ内容での再問い合わせが、決めた期間内(たとえば3日以内)にない

3番目の期間は、業種に合わせて決めます。飲食店の予約確認なら当日から翌日、通販の返品相談なら数日から一週間が目安です。ここも固定して記録します。

解決を見抜く四つのシグナル

会話ごとに「解決したか」を人が全件読むのは現実的ではありません。そこで、次の流れで確認します。

  1. 01引き継ぎの有無を確認
  2. 02低評価・不満の有無を確認
  3. 03再問い合わせを照合
  4. 04抜き取りで人が目視
解決判定の流れ説明用の例

各シグナルの使い方は次のとおりです。

  • 引き継ぎの有無:人に回った会話は、まず分子から外します。
  • お客様の評価:高評価・低評価のボタンがある場合、低評価は分子から外します。ただし評価を押す人は少数なので、評価がないことを「満足」と読まないでください。
  • 再問い合わせ:同じ人が短期間に同じ話題で戻ってきたら、前回は解決していなかったと判断します。LINEのように利用者が特定しやすいチャネルでは、特に有効です。
  • 抜き取り確認:毎週、30件程度を無作為に選んで人が読み、機械的な判定とずれがないか確かめます。

抜き取りでは、次の三択で記録すると集計が楽です。

  1. 正しく解決している
  2. 回答は返っているが、内容が不正確または不十分
  3. 答えられていない(知識の不足)

例:月300件の店舗で計算してみる

数字のイメージを持つために、仮の例で計算します。以下は説明用の仮定であり、実在の店舗の数字ではありません。

月に300件の会話が届く店舗があるとします。

  • テスト送信、スパム、あいさつのみ:30件(除外)
  • 対象会話:270件
  • 人に引き継がれた会話:54件
  • 人に引き継がれなかった会話:216件
  • そのうち、低評価または3日以内の再問い合わせがあった会話:36件
  • AIだけで解決した会話:180件

この場合、封じ込め率は216÷270で80%、自己解決率は180÷270で約67%です。

見かけの封じ込め率(%)
80
自己解決率(%)
67
Example: 同じ月でも指標によって数字が変わる(仮の数字)説明用の例

「80%」と報告するか「67%」と報告するかで、次の打ち手が変わります。13ポイントの差は、AIが答えたつもりで終わっている会話です。ここに改善の余地があります。

LINE・Webチャット・Instagramでの注意点

チャネルごとに、会話の終わり方と測りやすさが違います。

LINE公式アカウント

LINEでは、会話に明確な終わりがありません。お客様は返信せずにトークを閉じるだけです。そのため「最後のメッセージから一定時間が経ったら一つの会話とみなす」というルールを先に決めてください。たとえば24時間など、運用に合った区切りで構いません。

また、友だち追加直後のあいさつやリッチメニュー操作が会話数に混ざりやすいので、分母から除く条件を明確にしておきます。

Webチャット

Webチャットは、ページを閉じることで会話が終わります。放棄が多くなりやすいチャネルです。ページ上に「解決しましたか」という確認の選択肢を出す運用もありますが、押されなかった会話は「未回答」として別枠で数えます。

Instagram

Instagramでは、投稿へのコメント起点のメッセージや、営業時間を尋ねるだけの短い会話が多くなります。問い合わせの性質が違うため、LINEやWebチャットと合算せず、チャネル別に自己解決率を出すのが安全です。

数字を改善と個人情報の扱いにつなげる

解決しなかった理由を分類する

自己解決率は、出して終わりではありません。解決できなかった会話を、原因別に分けて見ます。

  • 知識の不足:資料やQ&Aに答えが載っていない。回答を追加すれば改善する
  • 回答の誤り:載っているのに、誤読または古い情報を使っている
  • 人でなければ対応できない:返金判断や例外対応など、AIに任せない領域
  • 時間外・導線の問題:営業時間外で、次の案内が伝わっていない

「人でなければ対応できない」ものは、改善対象ではなく方針です。自己解決率の目標を決めるときは、この領域を分母から除くか、別に管理してください。

ログを読むときの個人情報

会話ログには、氏名、電話番号、注文内容などの個人情報が含まれます。個人情報保護法(APPI)の観点からも、分析のためにログを見る人は必要な担当者に絞るのが自然です。

  • ログを閲覧できる人の範囲を決める
  • 表計算ソフトに書き出したファイルは、保管場所と削除時期を決める
  • 分析に不要な氏名や連絡先は、集計用のシートに持ち込まない
  • 保管期間を決め、期間を過ぎたログの扱いを定める

具体的な法的要件は、各組織の状況によって異なります。判断に迷う場合は、社内の担当者や専門家に確認してください。

AI SNS CHATで自己解決率を測る方法

AI SNS CHATには、ここで説明した自己解決率を自動で算出する専用の画面は、現時点の機能範囲にはありません。代わりに、会話ログの絞り込みと書き出し、評価、引き継ぎの記録を使って、表計算ソフトで算出する手順になります。

  1. ログを集める:サイドバーの「Activity」にある「Chat logs」を開きます。LINE、Webチャット、Instagramなど、メール以外のチャネルの会話はここに集まります(メールは「Inbox」です)。フィルターで期間やチャネルを絞り、書き出します。
  2. 分母を整える:テスト送信やスパムの会話は、一括選択して印を付けるか、書き出した表で除外します。除外件数も記録します。
  3. 解決の判定材料を使う:Chat logsには、高評価・低評価の記録があります。また、担当者が会話を引き継いだ(ボットが停止した)記録や、フラグ、エスカレーション、解決済みの操作が残ります。これらを列にして、分子の条件に使います。
  4. 抜き取り確認をする:週に一度、Chat logsから30件ほどを選び、「正しく解決・不正確・答えられない」の三択で記録します。
  5. 原因別に直す:知識の不足なら、サイドバーの「Data sources」にある「Q&A」や「Text snippets」に回答を追加します。引き継ぎ後の担当者の返信は、理想の回答として編集してエージェントの学習に使えます。修正後は「Playground」で同じ質問を試し、回答が変わったかを確かめます。
  6. 傾向を見る:「Analytics」では、Chats、Topics、Question history、Sentimentを確認できます。どの話題で解決しにくいかを探すのに役立ちます。高度な分析は Pro プラン以上が必要です。

引き継ぎを運用に組み込む場合は、Helpdeskの「Scheduling」で担当者ごとにシフトを設定すると、当番の人へ自動で割り当てられます。通知先にはSlack、Teams、LINE WORKS、WhatsApp、メール、Webhookを選べます。なお、Helpdeskは Standard プラン以上が対象です。

個人情報の面では、ワークスペースの権限を役割で分けられ、会話の保持期間はオプトインの設定として用意されています(既定は保持し続ける設定です)。AI SNS CHATのセキュリティの考え方は、GDPRとAPPIを参考に設計されています。詳しくは /security をご覧ください。機能の全体は /features、料金は /pricing で確認できます。

よくある質問

自己解決率は何%を目標にすればよいですか。

業種や問い合わせの内容で大きく変わるため、一律の目標値はおすすめしません。まず現在の数字を、定義を固定したうえで3か月ほど記録し、その推移を基準にしてください。目標は「前月より何ポイント上げるか」といった相対的な形が現実的です。

お客様が何も返信しなかった会話は、解決に数えてよいですか。

数えないことをおすすめします。無返信は、満足した場合と諦めた場合の両方を含むためです。「未確認」という別枠で数え、再問い合わせがなければ解決とみなす、というルールにすると安全です。

人に引き継いだ会話は、失敗とみなすべきですか。

いいえ。返金判断や例外対応など、人が対応すべき領域への引き継ぎは、正しい動きです。その種類は分母から除くか、別枠で管理してください。問題なのは、AIが答えられる内容を引き継いでいたり、引き継ぐべき会話を無理に自力で処理したりすることです。

評価ボタンの結果だけで解決を判断できますか。

評価を押す人は一部なので、それだけでは足りません。評価は「低評価を分子から外す」ために使い、再問い合わせの照合と週ごとの抜き取り確認を組み合わせてください。

#自己解決率#KPI#カスタマーサポート#LINE公式アカウント#AIチャットボット

AI SNS CHATで実践してみましょう

自社のコンテンツで学習したAIエージェントを作り、WebサイトやLINEなどにつなげられます。無料で始められ、クレジットカードは不要です。