Перейти к содержанию
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

A/B-тест сценариев чата: как проверять гипотезы без самообмана

Редакция AI SNS CHATОпубликовано 6 мин чтения

Как проводить A/B-тесты сценариев чата и ИИ-агента: метрика, размер выборки, честное деление трафика и ошибки в выводах. Практика для команд поддержки.

Вы переписали приветствие бота в Telegram, и вроде бы стало лучше. Но «вроде бы» не повод оставлять изменение: в понедельник трафик один, в пятницу другой, а в сезон распродаж третий. A/B-тест помогает отделить эффект вашей правки от случайных колебаний. Ниже описан порядок действий для небольшой команды: что тестировать, как выбрать метрику, сколько нужно диалогов и как не обмануть себя при чтении результатов.

Что считать сценарием, который стоит тестировать

Сценарий чата — это всё, что клиент видит и делает от первого сообщения до решения вопроса или передачи человеку. Тестировать имеет смысл то, что влияет на исход диалога:

  • Приветствие и первое уточняющее сообщение. Например, «Чем помочь?» против кнопок с тремя частыми темами.
  • Порядок вопросов. Сначала номер заказа или сначала суть проблемы.
  • Тон и длина ответов. Короткие ответы в Telegram или развёрнутые с шагами.
  • Момент передачи человеку. Сразу после первой неудачи или после второго уточнения.
  • Сбор контактов. Просить телефон в начале диалога или после того, как клиент получил ответ.
  • Инструкции и ограничения агента. Формулировки персоны, которые меняют поведение в спорных случаях.

Не стоит тестировать мелочи вроде смайлика в конце фразы: эффект будет так мал, что вы не накопите достаточно диалогов, чтобы его заметить.

Сначала выберите одну главную метрику

Главная ошибка — запустить тест, а потом искать, по какому показателю вариант B «выиграл». Если смотреть на десять цифр, одна из них почти всегда улучшится случайно.

Выберите одну метрику до начала теста и запишите её. Примеры для поддержки:

  • Доля диалогов, решённых без передачи человеку. Подходит для тестов, которые должны разгрузить операторов.
  • Доля оставленных контактов. Подходит для сценариев сбора заявок.
  • Доля положительных оценок (палец вверх или вниз под ответом).
  • Доля диалогов, закрытых за один-два обмена репликами.

Рядом с главной метрикой держите одну-две «страховочные». Если вы уговорили бота реже звать оператора, проверьте, не выросла ли доля негативных оценок. Рост самостоятельности за счёт недовольных клиентов — это не победа.

Меняйте одну вещь за раз

Если в варианте B вы одновременно поменяли приветствие, порядок вопросов и условия передачи оператору, то при любом результате вы не узнаете, что именно сработало. Правило простое: между A и B одно различие.

Если нужно проверить несколько идей, ставьте их в очередь:

  1. Тест 1: приветствие с кнопками против текстового.
  2. Победитель становится новым вариантом A.
  3. Тест 2: новый порядок вопросов против текущего.

Это медленнее, зато каждый шаг даёт понятный вывод.

  1. 01Гипотеза и метрика
  2. 02Вариант B с одним изменением
  3. 03Параллельный запуск на равных группах
  4. 04Оценка и решение
Один цикл A/B-теста сценария чатаПример для иллюстрации

Делите аудиторию честно

Вариант A и вариант B должны сталкиваться с одинаковыми клиентами. Иначе вы сравниваете не сценарии, а аудитории.

Чего делать не стоит:

  • Сравнивать Telegram с VK. У каналов разная аудитория и разные ожидания: в VK чаще пишут из сообщества с вопросом по товару, в Telegram чаще возвращаются постоянные клиенты.
  • Запускать A в январе, а B в феврале. Сезонность, акции и рекламные кампании исказят картину.
  • Отдавать B только «новым» клиентам, а A только «старым».

Что делать:

  • Проводите оба варианта в одном канале и в один период.
  • Если автоматического деления трафика нет, чередуйте варианты короткими равными блоками, например по дням, и следите, чтобы каждый вариант получил и будни, и выходные.
  • Исключите из сравнения диалоги сотрудников и тестовые обращения.

Идеал — случайное распределение, при котором каждый новый посетитель попадает в A или B по жребию. Если такого механизма у вас нет, чередование по времени остаётся приемлемым компромиссом, но выводы стоит делать осторожнее.

Сколько длить тест и сколько нужно диалогов

Длительность определяется не календарём, а количеством диалогов в каждом варианте. При этом тест должен охватывать полный недельный цикл: поведение клиентов в понедельник утром и в субботу вечером различается.

Прикиньте объём заранее. Допустим, сейчас без передачи человеку заканчивается около 60% диалогов, а вы хотите надёжно заметить рост до 70%. По стандартной формуле для сравнения двух долей (уровень значимости 5%, мощность 80%) понадобится порядка 350–400 диалогов на каждый вариант. Это ориентировочный расчёт для данного примера; для другой базовой доли и другого ожидаемого эффекта цифра изменится. Чем меньший эффект вы хотите поймать, тем больше диалогов нужно.

Пример на гипотетических данных: если магазин получает 300 диалогов в месяц, то для двух вариантов по 400 диалогов потребуется почти три месяца. В таком случае разумнее тестировать более крупные изменения, где эффект будет заметнее, или принять, что вывод будет предварительным.

Два правила дисциплины:

  • Не останавливайте тест в тот момент, когда B «ушёл вперёд». Ранний отрыв часто исчезает.
  • Заранее определите условие остановки: например, «по 400 диалогов в каждом варианте и не меньше двух полных недель».

Читайте результаты, не обманывая себя

Допустим, в гипотетическом тесте каждый вариант получил по 150 диалогов.

Вариант A
93
Вариант B
108
Пример: диалоги, решённые без передачи человеку, в гипотетическом тесте (по 150 диалогов в каждом варианте)Пример для иллюстрации

В варианте A это 93 из 150, то есть 62%. В варианте B — 108 из 150, то есть 72%. Разница в 10 процентных пунктов выглядит убедительно, но при такой выборке она находится на границе случайного разброса: статистическая погрешность разницы здесь составляет около 5–6 пунктов, а значит, результат нельзя считать доказанным. Разумное решение — продлить тест или повторить его.

Как проверять результат:

  1. Сравните доли, а не абсолютные числа. Если варианты получили разное число диалогов, сырые цифры обманывают.
  2. Оцените размер разницы. Рост на один-два пункта при небольшой выборке — это, скорее всего, шум.
  3. Посмотрите страховочные метрики. Не ухудшились ли оценки клиентов и доля эскалаций.
  4. Прочитайте десяток диалогов каждого варианта. Цифры говорят, что произошло, а диалоги объясняют почему.
  5. Проверьте по сегментам. Если выигрыш получен только на одной теме вопросов, это стоит знать.

Типичные ловушки

  • Несколько изменений сразу. Описано выше: после такого теста вывод сделать невозможно.
  • Выбор метрики по факту. Метрика, на которую вы посмотрели после результата, — это подгонка.
  • Подглядывание. Остановка по первому «хорошему» значению завышает долю ложных побед.
  • Смена условий посреди теста. Если вы в середине обновили базу знаний или запустили рекламу, результат нельзя считать чистым.
  • Разные базы знаний у вариантов. Если B отвечает точнее потому, что вы добавили в него статью, а A не получил её, вы тестируете знания, а не сценарий.
  • Игнорирование стоимости. Более длинные диалоги расходуют больше ответов, а значит, и кредитов.
  • Перенос вывода на другие каналы. Победа в виджете на сайте не гарантирует победу в WhatsApp или VK.

Как это делать в AI SNS CHAT

Сразу об ограничении: в описании возможностей AI SNS CHAT нет функции, которая автоматически делит посетителей между двумя сценариями. Поэтому тест вы организуете вручную, с помощью инструментов, которые есть в платформе.

Подготовка варианта B. Откройте нужного агента и воспользуйтесь функцией «Дублировать»: она копирует персону, модель и обучающие данные, но не переписку. В копии измените только одну вещь. Учтите лимиты по тарифам: на бесплатном тарифе доступен один агент, на Hobby — два, на Standard — три. Дополнительный агент можно подключить за $10 в месяц (подробности на странице тарифов).

Страховка. Перед правками сохраните точку восстановления: для каждого агента их можно хранить до 40. Если новый вариант покажет себя хуже, вы вернётесь к прежнему состоянию.

Предварительная проверка. В Playground есть сравнение моделей A/B. Оно помогает посмотреть, как разные модели отвечают на одни и те же вопросы, до выхода к клиентам. Но это сравнение в тестовой среде, а не деление живого трафика.

Запуск. Подключите агентов к каналам (список в разделе «Каналы» и на странице подключений): чат на сайте, Telegram, VK, WhatsApp и другие. Чередуйте варианты равными блоками времени в одном канале и записывайте даты переключений.

Измерение. В разделе «Активность → Журналы чатов» есть фильтры, оценки «палец вверх / вниз», пометки, эскалации и отметка «решено», а также экспорт. Выгрузите диалоги по каждому периоду и посчитайте главную метрику в таблице. В разделе «Аналитика» доступны чаты, темы, история вопросов и тональность; расширенная аналитика требует тарифа Pro. Расходы на тест видны на странице «Использование»: один ответ стоит один кредит.

Передача человеку. Если метрика связана с эскалациями, настройте смены в «Helpdesk → Расписание» (нужен тариф Standard или выше), чтобы доступность операторов не отличалась между периодами теста.

Откат. Если B проиграл, верните агента к точке восстановления или просто оставьте A в работе. Подробнее о возможностях — на странице функций.

Частые вопросы

Может ли AI SNS CHAT автоматически делить посетителей между двумя сценариями?

В описанных возможностях платформы такой функции нет. Тест проводится вручную: вы создаёте копию агента, подключаете варианты и чередуете их равными блоками времени. Playground позволяет сравнивать модели в тестовой среде, но не распределяет живой трафик.

Сколько диалогов нужно для надёжного результата?

Зависит от текущего уровня метрики и размера эффекта, который вы хотите заметить. Для примера: чтобы надёжно увидеть рост с 60% до 70%, нужно порядка 350–400 диалогов на вариант. Если эффект меньше, понадобится больше. При малом трафике тестируйте более крупные изменения.

Какую метрику выбрать для сценария в WhatsApp или VK?

Ориентируйтесь на цель сценария: долю диалогов, решённых без передачи человеку, долю оставленных контактов или долю положительных оценок. Выберите одну главную метрику и одну страховочную. Не переносите результаты между каналами: аудитории в WhatsApp, VK и Telegram различаются.

Безопасно ли откатываться, если вариант B оказался хуже?

Да. Перед изменениями создайте точку восстановления агента (до 40 на агента) и при необходимости вернитесь к ней. Уже состоявшиеся диалоги при этом остаются в журнале чатов, так что данные теста сохраняются для анализа.

#A/B-тест#KPI#сценарии чата#поддержка#аналитика

Попробуйте на практике в AI SNS CHAT

Создайте ИИ-агента, обученного на ваших материалах, и подключите его к сайту, WhatsApp, Messenger и другим каналам. Начать можно бесплатно, без банковской карты.