Почему доля чатов без передачи человеку не равна реальному решению проблем, и как посчитать самостоятельное решение ИИ так, чтобы цифре верили.
Руководитель смотрит на отчёт: ИИ закрыл 70% обращений без участия людей. Хорошая цифра, но она почти ничего не говорит о том, получили ли клиенты ответ на свой вопрос. В этой статье разберём, как определить термины, построить метрику слоями, честно собрать выборку и показать результат так, чтобы ему доверяли и поддержка, и руководство.
Почему «очевидная» доля решений вводит в заблуждение
Самый простой способ посчитать: взять все диалоги и вычесть те, что были переданы человеку. Остаток назвать «самостоятельно решённым». Эта метрика называется долей удержания (containment), и она честно измеряет одно: сколько диалогов обошлись без оператора.
Проблема в том, что отсутствие передачи не означает, что проблема решена. В эту долю попадают:
- клиенты, которые написали в Telegram, не получили полезного ответа и просто закрыли переписку;
- клиенты, получившие уверенный, но неверный ответ и не заметившие ошибки;
- люди, которые вернулись через день по тому же вопросу, потому что накануне им «ответили», но не помогли;
- диалоги, где вопрос вообще не касался поддержки: приветствие, тест, спам.
Чем лучше бот умеет вежливо поддерживать разговор и чем реже он передаёт чат человеку, тем сильнее завышена такая цифра. Поэтому доля удержания нужна, но как верхняя граница, а не как итог.
Сначала договоритесь о терминах
Прежде чем считать, письменно зафиксируйте определения. Без них через квартал никто не вспомнит, что именно входило в расчёт.
Что считать диалогом
Один диалог — это одна тема одного клиента. Если человек в WhatsApp задал три несвязанных вопроса, это три обращения. Если он вернулся на следующий день с тем же вопросом, это продолжение прежнего, а не новое. Правило нужно записать, иначе повторные обращения будут растворяться в статистике.
Что считать решением
Предлагаем такое рабочее определение: диалог решён, если клиент получил верный ответ или выполненное действие по своему вопросу, и ему не пришлось повторно обращаться по этой же теме в течение согласованного окна (например, трёх суток). Окно выберите сами, исходя из вашего цикла: для интернет-магазина с доставкой оно длиннее, для вопросов о режиме работы короче.
Что вынести за скобки
Договоритесь, какие диалоги не входят в знаменатель: тесты сотрудников, спам, обращения не по теме, повторные приветствия. Их можно считать отдельно, но смешивать с рабочими обращениями не стоит.
Стройте метрику слоями
Хорошая метрика собирается постепенно: каждый слой убирает определённый тип самообмана. Не пытайтесь получить итог одним фильтром.
- 01Все диалоги за период
- 02Исключить тесты, спам и вопросы не по теме
- 03Убрать диалоги с передачей человеку
- 04Проверить выборку вручную и вычесть повторы
Слои по порядку:
- Все диалоги — общий объём по всем каналам: чат на сайте, Telegram, WhatsApp, VK.
- Очищенная база — без тестов и спама.
- Доля удержания — диалоги без передачи человеку, делённые на очищенную базу.
- Проверенное решение — из удержанных вычитаем брошенные диалоги, неверные ответы и повторные обращения по той же теме.
Покажем, как это выглядит на условном примере. Допустим, в выборке 100 очищенных диалогов, и 70 из них закрылись без оператора. Дальше вы читаете эти 70 и находите: 6 клиентов ушли, не получив ответа, в 5 случаях ответ был неверным, а 3 клиента вернулись по тому же вопросу.
Цифры здесь гипотетические, но логика работает всегда: разрыв между «не передано» и «решено» нужно измерять, а не предполагать. Этот разрыв, кстати, и есть самая полезная часть анализа: каждая вычтенная категория подсказывает, что чинить.
Выборка: честная, а не удобная
Вручную проверить все диалоги нельзя, поэтому проверяется выборка. И здесь легко обмануть себя: мы склонны открывать самые яркие или самые короткие диалоги, а лучше всего запоминаются скандальные.
Чтобы выборка была честной:
- Выбирайте случайно. Если у вас есть выгрузка, отсортируйте диалоги в случайном порядке и берите первые N. Не открывайте то, что «попалось на глаза».
- Расслаивайте по каналам и темам. Если 60% обращений приходит из Telegram, а 10% из VK, выборка должна отражать это соотношение. Но для небольших каналов стоит взять чуть больше, чтобы цифра не прыгала.
- Включайте и длинные, и короткие диалоги. Короткие часто скрывают брошенные обращения.
- Не меняйте метод от месяца к месяцу. Иначе динамика будет отражать смену способа выбора, а не качества.
- Проверяйте вдвоём. Пусть часть диалогов оценят два человека независимо, и сравните расхождения. Если они часто спорят, определение «решено» сформулировано нечётко.
Для примера: если магазин получает 300 чатов в месяц, разумно проверять небольшую долю из них регулярно, а не большую долю раз в год. Точный объём зависит от вашей трудоёмкости и допустимой погрешности, но главное правило — постоянство.
Сигналы клиентов и их смещение
Оценки «палец вверх» и «палец вниз» полезны, но у них есть перекос. Оценивают не все: обычно те, кто очень доволен или очень раздражён. Тихий клиент, у которого всё получилось, чаще всего ничего не нажмёт. А тот, кто ушёл разочарованным, тоже может не оставить оценку.
Что с этим делать:
- Не считайте оценку «вверх» доказательством решения. Клиент мог поблагодарить за вежливость, а проблема осталась.
- Не считайте отсутствие оценки отсутствием проблемы.
- Используйте оценки как фильтр для проверки: диалоги с «пальцем вниз» стоит читать в первую очередь, чтобы понять причины.
- Сравнивайте оценки с результатами ручной проверки. Если они сильно расходятся, значит, оценкам доверять нельзя как самостоятельной метрике.
Ещё один полезный сигнал — повторное обращение. Если клиент в течение окна снова написал по той же теме, это почти всегда признак того, что первый ответ не сработал.
Справедливо учитывайте эскалации
Передача человеку — не провал. Иногда это правильное решение: вопрос требует доступа к заказу, исключения из правил или человеческого такта. Если вы будете наказывать бота за каждую передачу, он научится удерживать клиентов вместо того, чтобы помогать им.
Различайте три случая:
- Обоснованная эскалация. Вопрос действительно вне компетенции бота. Это нормальный исход, и в расчёте решённых ИИ такие диалоги просто не считаются решёнными самим ИИ, но и не считаются его ошибкой.
- Ненужная эскалация. Ответ был в базе знаний, но бот его не нашёл. Это точка улучшения.
- Эскалация после неудачи. Клиент уже получил неверный ответ и потом позвал человека. Такой диалог нельзя записывать в «успешные передачи».
Хорошая практика — помечать причину передачи в момент разбора. Тогда по итогам месяца будет видно, какая доля эскалаций была оправданной, а какая указывает на пробел в знаниях.
Отдельно оценивайте и качество самой передачи: получил ли клиент понятное сообщение о дальнейших шагах и не пришлось ли ему повторять всё с начала.
Как отчитываться, чтобы вам верили
Цифра внушает доверие не точностью, а прозрачностью. Приложите к ней способ расчёта.
В отчёте должны быть:
- Определения «диалога» и «решения», окно повторных обращений.
- Размер выборки и способ её отбора.
- Обе метрики: долю удержания и проверенную долю решений, с объяснением разницы.
- Разбивка по каналам: чат на сайте, Telegram, WhatsApp, VK часто ведут себя по-разному.
- Причины потерь: сколько диалогов потеряно из-за брошенных обращений, неверных ответов и повторов.
- План действий: какие 2–3 пробела в знаниях закрываются в следующем месяце.
Не прячьте ухудшения. Если показатель упал, потому что вы стали строже проверять, скажите об этом прямо: честное падение лучше красивого роста, который никто не может воспроизвести.
Как это делать в AI SNS CHAT
Сразу важное уточнение: готового показателя «доля самостоятельных решений» в описании возможностей AI SNS CHAT нет, поэтому итоговую цифру вы считаете сами. Платформа даёт материал для расчёта и инструменты проверки.
Журнал чатов. Откройте Activity → Chat logs. Здесь собраны диалоги всех каналов, кроме почты: чат-виджет, Telegram, WhatsApp, VK и другие. Есть фильтры, массовый выбор, пометки (flag), действия «эскалировать» и «решено» (resolve), а также выгрузка. Выгрузите период в файл и выберите случайную выборку в таблице.
Оценки клиентов. В журнале видны оценки «палец вверх» и «палец вниз». Используйте «вниз» для приоритетного разбора, а «вверх» не принимайте за доказательство решения.
Пометки при разборе. Пока читаете выборку, отмечайте проблемные диалоги флагом и фиксируйте статус. Так у команды остаётся след проверки, а повторный разбор не начинается с нуля.
Передача человеку. Оператор может перехватить чат, и бот при этом приостанавливается. В разделе Helpdesk → Scheduling задаются смены по людям и часовым поясам, и передачи автоматически назначаются тому, кто на смене; он доступен на тарифе Standard и выше. Уведомления о передаче можно получать в Slack, Teams, LINE WORKS, WhatsApp, по почте или через webhook. Сообщение клиенту о следующих шагах формирует сервер по расписанию и не придумывает время ожидания.
Исправление найденных ошибок. Если при разборе вы нашли неверный ответ, отредактируйте его до идеального и используйте для обучения агента. Это замыкает цикл: измерили, нашли причину, исправили.
Аналитика. В разделе Analytics доступны чаты, темы, история вопросов и тональность. Расширенная аналитика требует тарифа Pro. Эти данные помогают выбирать темы для расслоения выборки.
Каналы. Список подключаемых каналов, включая Telegram, WhatsApp, VK и виджет, смотрите на странице каналов и подключений, а возможности и тарифы описаны в разделах функций и цен.
Итог
Доля удержания отвечает на вопрос, сколько работы осталось людям. Проверенная доля решений отвечает на вопрос, помогли ли вы клиентам. Определите термины, постройте метрику слоями, проверяйте случайную выборку, учитывайте смещение оценок, справедливо разбирайте эскалации и открыто показывайте метод. Тогда цифра станет рабочим инструментом, а не красивой строчкой в отчёте.
Частые вопросы
Одно и то же ли доля удержания и доля решений?
Нет. Доля удержания показывает, сколько диалогов закрылось без передачи человеку. Доля решений дополнительно требует, чтобы клиент действительно получил верный ответ и не вернулся по тому же вопросу. Первая всегда не меньше второй.
Сколько чатов нужно проверять в месяц?
Единого числа нет: оно зависит от объёма обращений и допустимой погрешности. Важнее постоянство: берите случайную выборку по одному и тому же правилу каждый месяц и расслаивайте её по каналам и темам. Например, при 300 чатах в месяц лучше стабильно разбирать небольшую долю, чем раз в год пересматривать много.
Нужно ли считать оценки «палец вверх» от клиентов как решённые диалоги?
Лучше не считать. Оценивают не все, а вежливая благодарность не гарантирует, что проблема решена. Используйте оценки как подсказку, какие диалоги читать первыми, а итог определяйте ручной проверкой и повторными обращениями.
Считает ли AI SNS CHAT долю решений автоматически?
Готового показателя доли самостоятельных решений в возможностях платформы не заявлено. Вы получаете журнал чатов с фильтрами, пометками, статусами, оценками и выгрузкой, а также аналитику по чатам и темам, и по ним считаете метрику сами.


