Как проводить A/B-тесты сценариев чата и ИИ-агента: метрика, размер выборки, честное деление трафика и ошибки в выводах. Практика для команд поддержки.
Вы переписали приветствие бота в Telegram, и вроде бы стало лучше. Но «вроде бы» не повод оставлять изменение: в понедельник трафик один, в пятницу другой, а в сезон распродаж третий. A/B-тест помогает отделить эффект вашей правки от случайных колебаний. Ниже описан порядок действий для небольшой команды: что тестировать, как выбрать метрику, сколько нужно диалогов и как не обмануть себя при чтении результатов.
Что считать сценарием, который стоит тестировать
Сценарий чата — это всё, что клиент видит и делает от первого сообщения до решения вопроса или передачи человеку. Тестировать имеет смысл то, что влияет на исход диалога:
- Приветствие и первое уточняющее сообщение. Например, «Чем помочь?» против кнопок с тремя частыми темами.
- Порядок вопросов. Сначала номер заказа или сначала суть проблемы.
- Тон и длина ответов. Короткие ответы в Telegram или развёрнутые с шагами.
- Момент передачи человеку. Сразу после первой неудачи или после второго уточнения.
- Сбор контактов. Просить телефон в начале диалога или после того, как клиент получил ответ.
- Инструкции и ограничения агента. Формулировки персоны, которые меняют поведение в спорных случаях.
Не стоит тестировать мелочи вроде смайлика в конце фразы: эффект будет так мал, что вы не накопите достаточно диалогов, чтобы его заметить.
Сначала выберите одну главную метрику
Главная ошибка — запустить тест, а потом искать, по какому показателю вариант B «выиграл». Если смотреть на десять цифр, одна из них почти всегда улучшится случайно.
Выберите одну метрику до начала теста и запишите её. Примеры для поддержки:
- Доля диалогов, решённых без передачи человеку. Подходит для тестов, которые должны разгрузить операторов.
- Доля оставленных контактов. Подходит для сценариев сбора заявок.
- Доля положительных оценок (палец вверх или вниз под ответом).
- Доля диалогов, закрытых за один-два обмена репликами.
Рядом с главной метрикой держите одну-две «страховочные». Если вы уговорили бота реже звать оператора, проверьте, не выросла ли доля негативных оценок. Рост самостоятельности за счёт недовольных клиентов — это не победа.
Меняйте одну вещь за раз
Если в варианте B вы одновременно поменяли приветствие, порядок вопросов и условия передачи оператору, то при любом результате вы не узнаете, что именно сработало. Правило простое: между A и B одно различие.
Если нужно проверить несколько идей, ставьте их в очередь:
- Тест 1: приветствие с кнопками против текстового.
- Победитель становится новым вариантом A.
- Тест 2: новый порядок вопросов против текущего.
Это медленнее, зато каждый шаг даёт понятный вывод.
- 01Гипотеза и метрика
- 02Вариант B с одним изменением
- 03Параллельный запуск на равных группах
- 04Оценка и решение
Делите аудиторию честно
Вариант A и вариант B должны сталкиваться с одинаковыми клиентами. Иначе вы сравниваете не сценарии, а аудитории.
Чего делать не стоит:
- Сравнивать Telegram с VK. У каналов разная аудитория и разные ожидания: в VK чаще пишут из сообщества с вопросом по товару, в Telegram чаще возвращаются постоянные клиенты.
- Запускать A в январе, а B в феврале. Сезонность, акции и рекламные кампании исказят картину.
- Отдавать B только «новым» клиентам, а A только «старым».
Что делать:
- Проводите оба варианта в одном канале и в один период.
- Если автоматического деления трафика нет, чередуйте варианты короткими равными блоками, например по дням, и следите, чтобы каждый вариант получил и будни, и выходные.
- Исключите из сравнения диалоги сотрудников и тестовые обращения.
Идеал — случайное распределение, при котором каждый новый посетитель попадает в A или B по жребию. Если такого механизма у вас нет, чередование по времени остаётся приемлемым компромиссом, но выводы стоит делать осторожнее.
Сколько длить тест и сколько нужно диалогов
Длительность определяется не календарём, а количеством диалогов в каждом варианте. При этом тест должен охватывать полный недельный цикл: поведение клиентов в понедельник утром и в субботу вечером различается.
Прикиньте объём заранее. Допустим, сейчас без передачи человеку заканчивается около 60% диалогов, а вы хотите надёжно заметить рост до 70%. По стандартной формуле для сравнения двух долей (уровень значимости 5%, мощность 80%) понадобится порядка 350–400 диалогов на каждый вариант. Это ориентировочный расчёт для данного примера; для другой базовой доли и другого ожидаемого эффекта цифра изменится. Чем меньший эффект вы хотите поймать, тем больше диалогов нужно.
Пример на гипотетических данных: если магазин получает 300 диалогов в месяц, то для двух вариантов по 400 диалогов потребуется почти три месяца. В таком случае разумнее тестировать более крупные изменения, где эффект будет заметнее, или принять, что вывод будет предварительным.
Два правила дисциплины:
- Не останавливайте тест в тот момент, когда B «ушёл вперёд». Ранний отрыв часто исчезает.
- Заранее определите условие остановки: например, «по 400 диалогов в каждом варианте и не меньше двух полных недель».
Читайте результаты, не обманывая себя
Допустим, в гипотетическом тесте каждый вариант получил по 150 диалогов.
В варианте A это 93 из 150, то есть 62%. В варианте B — 108 из 150, то есть 72%. Разница в 10 процентных пунктов выглядит убедительно, но при такой выборке она находится на границе случайного разброса: статистическая погрешность разницы здесь составляет около 5–6 пунктов, а значит, результат нельзя считать доказанным. Разумное решение — продлить тест или повторить его.
Как проверять результат:
- Сравните доли, а не абсолютные числа. Если варианты получили разное число диалогов, сырые цифры обманывают.
- Оцените размер разницы. Рост на один-два пункта при небольшой выборке — это, скорее всего, шум.
- Посмотрите страховочные метрики. Не ухудшились ли оценки клиентов и доля эскалаций.
- Прочитайте десяток диалогов каждого варианта. Цифры говорят, что произошло, а диалоги объясняют почему.
- Проверьте по сегментам. Если выигрыш получен только на одной теме вопросов, это стоит знать.
Типичные ловушки
- Несколько изменений сразу. Описано выше: после такого теста вывод сделать невозможно.
- Выбор метрики по факту. Метрика, на которую вы посмотрели после результата, — это подгонка.
- Подглядывание. Остановка по первому «хорошему» значению завышает долю ложных побед.
- Смена условий посреди теста. Если вы в середине обновили базу знаний или запустили рекламу, результат нельзя считать чистым.
- Разные базы знаний у вариантов. Если B отвечает точнее потому, что вы добавили в него статью, а A не получил её, вы тестируете знания, а не сценарий.
- Игнорирование стоимости. Более длинные диалоги расходуют больше ответов, а значит, и кредитов.
- Перенос вывода на другие каналы. Победа в виджете на сайте не гарантирует победу в WhatsApp или VK.
Как это делать в AI SNS CHAT
Сразу об ограничении: в описании возможностей AI SNS CHAT нет функции, которая автоматически делит посетителей между двумя сценариями. Поэтому тест вы организуете вручную, с помощью инструментов, которые есть в платформе.
Подготовка варианта B. Откройте нужного агента и воспользуйтесь функцией «Дублировать»: она копирует персону, модель и обучающие данные, но не переписку. В копии измените только одну вещь. Учтите лимиты по тарифам: на бесплатном тарифе доступен один агент, на Hobby — два, на Standard — три. Дополнительный агент можно подключить за $10 в месяц (подробности на странице тарифов).
Страховка. Перед правками сохраните точку восстановления: для каждого агента их можно хранить до 40. Если новый вариант покажет себя хуже, вы вернётесь к прежнему состоянию.
Предварительная проверка. В Playground есть сравнение моделей A/B. Оно помогает посмотреть, как разные модели отвечают на одни и те же вопросы, до выхода к клиентам. Но это сравнение в тестовой среде, а не деление живого трафика.
Запуск. Подключите агентов к каналам (список в разделе «Каналы» и на странице подключений): чат на сайте, Telegram, VK, WhatsApp и другие. Чередуйте варианты равными блоками времени в одном канале и записывайте даты переключений.
Измерение. В разделе «Активность → Журналы чатов» есть фильтры, оценки «палец вверх / вниз», пометки, эскалации и отметка «решено», а также экспорт. Выгрузите диалоги по каждому периоду и посчитайте главную метрику в таблице. В разделе «Аналитика» доступны чаты, темы, история вопросов и тональность; расширенная аналитика требует тарифа Pro. Расходы на тест видны на странице «Использование»: один ответ стоит один кредит.
Передача человеку. Если метрика связана с эскалациями, настройте смены в «Helpdesk → Расписание» (нужен тариф Standard или выше), чтобы доступность операторов не отличалась между периодами теста.
Откат. Если B проиграл, верните агента к точке восстановления или просто оставьте A в работе. Подробнее о возможностях — на странице функций.
Частые вопросы
Может ли AI SNS CHAT автоматически делить посетителей между двумя сценариями?
В описанных возможностях платформы такой функции нет. Тест проводится вручную: вы создаёте копию агента, подключаете варианты и чередуете их равными блоками времени. Playground позволяет сравнивать модели в тестовой среде, но не распределяет живой трафик.
Сколько диалогов нужно для надёжного результата?
Зависит от текущего уровня метрики и размера эффекта, который вы хотите заметить. Для примера: чтобы надёжно увидеть рост с 60% до 70%, нужно порядка 350–400 диалогов на вариант. Если эффект меньше, понадобится больше. При малом трафике тестируйте более крупные изменения.
Какую метрику выбрать для сценария в WhatsApp или VK?
Ориентируйтесь на цель сценария: долю диалогов, решённых без передачи человеку, долю оставленных контактов или долю положительных оценок. Выберите одну главную метрику и одну страховочную. Не переносите результаты между каналами: аудитории в WhatsApp, VK и Telegram различаются.
Безопасно ли откатываться, если вариант B оказался хуже?
Да. Перед изменениями создайте точку восстановления агента (до 40 на агента) и при необходимости вернитесь к ней. Уже состоявшиеся диалоги при этом остаются в журнале чатов, так что данные теста сохраняются для анализа.


