LINEやWebチャットの応答を勘で直していませんか。件数が少ない店舗や自治体でも使える、1回に1か所だけ変えて比べるA/Bテストの手順と指標を解説します。
チャットボットの文言や質問の順番を「こちらのほうが良さそう」という感覚で直し、結果が良くなったのか悪くなったのか分からないまま運用していませんか。A/Bテストは、変更の効果を事実で確かめるための基本的な方法です。ただし、月の問い合わせが数百件ほどの店舗や自治体では、大企業向けの統計手法をそのまま使うことはできません。この記事では、件数が少なくても無理なく回せる比べ方、指標の選び方、結果の読み方、個人情報の扱いまでを順に解説します。
なぜチャットフローに A/Bテストが必要なのか
チャットフローの改善は、担当者の印象に左右されやすい作業です。「歓迎メッセージを短くしたら、問い合わせが増えた気がする」と感じても、その月がたまたま繁忙期だっただけかもしれません。
A/Bテストの考え方はシンプルです。二つの案を、できるだけ同じ条件で試し、同じ物差しで比べる。これだけです。比べる対象が「案A」と「案B」の二つに限られるので、判断の根拠が明確になります。
小規模運営こそ、勘に頼る危険が大きい
件数が少ないと、数件の違いが結果を大きく動かします。印象で判断すると、偶然の揺れを「改善の成果」と取り違えやすくなります。逆に、本当は効果のあった変更を「効かなかった」と見送ってしまうこともあります。
だからこそ、次の三つを最初に決めておくことが大切です。
- 何を変えるのか(変更は1か所だけ)
- 何で良し悪しを判断するのか(指標を先に決める)
- いつまで試すのか(終了条件を先に決める)
比べる対象を絞る:1回に変えるのは1か所だけ
複数の箇所を一度に変えると、どれが効いたのか分からなくなります。歓迎メッセージと質問の順番を同時に変えたなら、結果が良くても悪くても原因を特定できません。
テスト対象の例
チャットフローの中で、比べる価値が高い箇所を整理します。
| テスト対象 | 案Aの例 | 案Bの例 |
|---|---|---|
| 歓迎メッセージ | あいさつのみ | あいさつ+「よくあるご質問はこちら」の案内 |
| 最初の質問 | 自由入力を促す | 選択肢を3つ提示する |
| 回答の文体 | 丁寧で詳しい長文 | 結論を先に書いた短文 |
| 有人対応への切り替え | 回答できないときだけ案内 | 予約や変更の相談では早めに案内 |
| 使用するAIモデル | 標準モデル | より高性能なモデル |
迷ったら「最初の1メッセージ」から
最初に試すなら、歓迎メッセージか最初の質問がおすすめです。すべての利用者が必ず目にする箇所なので、少ない件数でもデータが集まりやすいからです。深い階層の分岐は、そこに到達する人自体が少なく、比較に十分な件数が溜まらないことがよくあります。
指標を先に決める:何をもって「良い」とするか
テストを始める前に、判断に使う指標を一つ決めます。後から都合のよい指標を選ぶと、結果をねじ曲げてしまいます。
主な指標の候補
| 指標 | 見るもの | 向いている場面 |
|---|---|---|
| 満足度の評価 | 会話ごとの高評価(サムズアップ)と低評価の比率 | 回答の文体・内容の比較 |
| 有人対応への引き継ぎ率 | 全会話のうち、担当者へ引き継がれた割合 | 案内の分かりやすさ、回答精度の比較 |
| 目的の達成率 | 予約・資料請求・問い合わせ先の入力まで進んだ割合 | 質問の順番、フォームの比較 |
| 感情の傾向 | 会話全体の肯定・否定の傾向 | 補助的な確認 |
引き継ぎ率は「低いほど良い」と一概には言えません。本来は人が対応すべき相談まで、AIが無理に答えてしまっている可能性があるためです。引き継ぎ率は、評価や達成率と必ずセットで見てください。
二つの案の分け方:同時並行か、期間交代か
A/Bテストでは、案Aと案Bを「どう分けるか」が結果の信頼性を左右します。小規模運営で現実的な方法は二つあります。
同時並行:Webチャットやリンクで分ける
Webサイトに設置するチャットなら、似た内容の二つのページに別々のチャットを置く方法があります。たとえば、同じ種類の商品を扱う二つの案内ページで、それぞれ別の歓迎メッセージを出します。利用者の層が大きく違うページ同士で比べると、フローの差ではなくページの差を見ることになるため注意してください。
期間交代:LINE公式アカウントではこちらが現実的
LINE公式アカウントは、友だち登録した人が同じアカウントにメッセージを送る形です。一つのアカウントで二つの案を同時に出し分けるのは難しいため、期間を区切って交代で試すのが現実的です。
期間交代で気をつけたい点は次のとおりです。
- 曜日の偏りをなくすため、期間は最低でも1週間単位にする
- 大型連休や、キャンペーン・イベントの時期は避ける
- 切り替えた日付を必ず記録する
- 案Aと案Bの期間の長さをそろえる
どちらの方法でも、テスト中は比較対象以外の設定を触らないことが前提です。ナレッジ(回答の根拠にする資料)を同時に更新すると、結果に別の要因が混ざります。
結果の読み方:件数が少ないときの注意点
ここからは、数字の見方です。以下は説明のための仮の例です。
例:月300件のチャットで歓迎メッセージを比べる
たとえば、あるお店のチャットに月300件の会話があり、案Aと案Bを150件ずつ試したとします。予約フォームまで進んだ件数が、案Aで30件、案Bで36件だったと仮定します。
案Bのほうが6件多く、一見すると良さそうです。しかし、この程度の差は偶然でも十分起こり得ます。1回の測定だけで案Bを採用と決めるのは早計です。
小さな差で決めないための実践ルール
専門的な検定を使わなくても、次のルールで判断の精度を上げられます。
- 差が小さいときは、もう一度やる。 同じ比較を別の期間で繰り返し、同じ向きの差が出るかを見る
- 差が明確に大きいときだけ、すぐに採用する。 目安は、件数に対して差が誰の目にも明らかなほど大きい場合です
- 数字だけで決めず、会話の中身を読む。 低評価の会話や引き継ぎになった会話を実際に開いて、原因を確認する
- 引き分けも成果と考える。 差がなければ、手間の少ない案を選べばよいということが分かります
件数が足りないときは、期間を延ばすのが基本です。無理に早く結論を出すより、判断を保留したほうが安全です。
個人情報とチャネルごとの注意点
チャットの会話には、氏名・電話番号・予約内容など、個人情報保護法(APPI)の対象になり得る情報が含まれます。テストのために会話を見たり書き出したりする際は、次の点を守ってください。
- 分析に使うのは、集計した件数や比率を基本にする
- 会話ログを書き出して共有するときは、氏名や連絡先などを取り除く
- 閲覧できる担当者を、テストに必要な人だけに絞る
- 利用者に説明している利用目的の範囲で、会話データを扱う
- 自治体や医療・教育など、個別のルールがある場合は、組織内の規程や所管部署の方針に従う
チャネルごとの考え方
- LINE公式アカウント: 期間交代が中心です。切り替え日を記録し、友だちへの一斉配信など別の施策と時期が重ならないようにします
- Webチャット: ページやリンクで入口を分ければ、同時並行の比較ができます
- Instagram: DMで問い合わせを受ける場合、投稿の内容や時期で問い合わせの性質が変わります。期間交代で比べるときは、投稿の話題が大きく変わった週を除いて見てください
AI SNS CHATでA/Bテストを進める方法
AI SNS CHATには、本番の会話を自動で二つの群に振り分ける機能は用意されていません。その代わりに、「事前に試す」「別エージェントで並行して比べる」「結果を記録して戻せるようにする」ための機能が揃っています。これらを組み合わせて、前章までの進め方を実現できます。
1. Playgroundで本番前に比べる
Playgroundには、同じ質問に対して異なるモデルの回答を並べて確認できるA/B比較画面があります。モデルの違いによる文体や正確さの差は、お客様に出す前にここで見比べられます。使用するモデルは、エージェントの「Settings」→「AI」で選びます。高性能なモデルやモデルのフォールバックはHobby以上のプランが対象です。
2. 複製したエージェントで案Bを作る
案Bは、元のエージェントを「Duplicate」で複製して作ると安全です。ペルソナ、モデル、学習データが引き継がれ、会話履歴は引き継がれません。複製側だけ歓迎メッセージなどを変えれば、変更点を1か所に絞れます。Webチャットなら、それぞれのエージェントを別のページに設置して同時並行で比べられます。作成できるエージェント数はプランで異なり、Freeは1、Hobbyは2、Standardは3です。追加のエージェントは1つにつき月10ドルで増やせます。最新の価格は料金ページで確認できます。
3. 結果を「チャットログ」と「分析」で確認する
比較の材料は、サイドバーの「Activity」→「Chat logs」にあります。フィルター、書き出し、高評価・低評価の確認ができるため、案ごとの評価の比率を数えられます。数字の確認だけでなく、低評価の会話を開いて原因を読むことも欠かせません。「Analytics」では、会話数、話題、質問履歴、感情の傾向を確認できます。高度な分析はProプランが対象です。
4. 変更の記録と、元に戻せる状態を作る
「Workspace settings」→「Activity」には、作成・編集・削除・アップロードの履歴が、担当者名と時刻つきで残ります(オーナーと管理者が閲覧可能)。いつ何を変えたかの記録に使えます。また、エージェントにはリストアポイントがあり、1つのエージェントにつき最大40件まで保存できます。テストで悪化した場合は、前の状態に戻せます。
5. 勝った案を、品質の向上につなげる
結果を読んで回答に不足があれば、受信トレイやチャットログで返信を理想的な回答に編集し、エージェントに学習させられます。人への引き継ぎが多い場合は、「Helpdesk」→「Scheduling」でシフトを設定すると、担当者が自動で割り当てられます。
機能の全体像は機能一覧で確認できます。
よくある質問
LINE公式アカウントで、二つの案を同時に出し分けられますか。
AI SNS CHATには、一つのアカウント内で会話を自動的に二つの群へ振り分ける機能はありません。LINE公式アカウントでは、1〜2週間ずつ案を入れ替える期間交代が現実的です。切り替えた日付を記録し、ほかの施策と時期が重ならないようにしてください。
月の問い合わせが100件程度でも、A/Bテストは意味がありますか。
小さな差を見分けるのは難しいですが、大きな差や明らかな問題は見つけられます。期間を長めに取り、同じ比較を繰り返し、数字に加えて会話の中身を読む運用をおすすめします。差が出なければ、手間の少ない案を選べば十分です。
テスト用のエージェントを増やすと、お客様の会話データはどうなりますか。
Duplicateで複製しても、会話履歴は引き継がれません。複製側は新しい会話だけが記録されます。会話の閲覧や書き出しは、個人情報保護法(APPI)を踏まえ、必要な担当者だけが行うように権限を整えてください。
テストの結果が悪かったとき、元に戻せますか。
エージェントのリストアポイントから、以前の状態に戻せます。リストアポイントは1つのエージェントにつき最大40件まで保存されます。テストを始める前に、現在の状態を保存しておくと安心です。


