Пошаговая недельная рутина проверки чатов поддержки: критерии, выборка, оценка, разбор причин и журнал изменений для Telegram, VK, WhatsApp и сайта.
Пока вы не читаете диалоги, вы не знаете, что на самом деле говорит клиентам ваш бот и ваша команда. Отзывы приходят редко, а жалобы видны только в самых тяжёлых случаях. Ниже описана простая недельная рутина: как выбрать чаты, как их оценить, как найти причины ошибок и как превратить находки в исправления, которые не потеряются.
Почему регулярная рутина лучше разовых проверок
Обычно проверка выглядит так: после жалобы руководитель открывает пару диалогов, находит ошибку, исправляет её и забывает до следующей жалобы. У такого подхода три слабых места.
- Выборка случайна по плохой причине. Вы смотрите только те чаты, о которых кто-то пожаловался, а тихие ошибки остаются незамеченными.
- Нет сравнения во времени. Невозможно понять, стало лучше или хуже, если каждый раз смотришь на разное и по-разному.
- Исправления не фиксируются. Через месяц никто не помнит, почему в базе знаний появился тот или иной абзац.
Рутина решает все три проблемы. Фиксированный день, фиксированный размер выборки, одна и та же шкала оценки. Даже сорок минут в неделю дают больше, чем «большая проверка» раз в квартал, потому что ошибки находятся, пока их причины свежи.
Сначала решите, что такое «хороший» ответ
Не открывайте ни одного чата, пока не договорились о критериях. Иначе каждый проверяющий будет оценивать по собственному ощущению, и результаты нельзя будет сравнить.
Достаточно четырёх-пяти критериев с ответом «да» или «нет»:
- Верность. Ответ соответствует вашим правилам, ценам и условиям.
- Полнота. Клиент получил то, о чём спросил, и ему не пришлось переспрашивать.
- Тон. Манера общения совпадает с тем, как вы хотите звучать: на «вы», без канцелярита и без панибратства.
- Границы. Бот не обещает того, чего не может: возврат, сроки, исключения из правил.
- Передача человеку. Когда вопрос выходит за рамки, диалог уходит сотруднику вовремя, а не после третьей неудачной попытки.
Отдельно решите, что считать критической ошибкой. Например, неверная цена или обещание, которое компания не выполнит, всегда критичны, даже если тон безупречен.
Соберите выборку, похожую на реальный трафик
Если читать только длинные и сложные диалоги, вы получите перекошенную картину. Если читать только короткие, пропустите самое важное. Выборка должна отражать то, что у вас происходит на самом деле.
Предлагаем смешанный подход:
- Случайные чаты. Основная часть выборки, чтобы видеть обычный день.
- Чаты с передачей человеку. Они показывают, где бот упёрся в потолок.
- Чаты с низкой оценкой или негативной тональностью. Здесь чаще всего прячутся реальные провалы.
- Несколько чатов с хорошей оценкой. Нужны, чтобы понять, что работает, и не сломать это при правках.
Для примера: если магазин получает 300 диалогов в месяц, это около 70 в неделю. Проверка 20–25 из них уже покрывает заметную долю, а на разбор уйдёт час, не больше. Эти числа гипотетические, подберите свои по нагрузке и по числу людей, которые участвуют в проверке.
Следите за каналами. Если у вас есть чат на сайте, Telegram, WhatsApp и VK, в выборку должны попасть все, пропорционально их доле. Иначе вы отладите сайт и не заметите, что в мессенджере бот отвечает хуже.
Оценивайте быстро, разбирайте медленно
Работу удобно разделить на два прохода.
Проход первый: быстрая оценка
На каждый чат уходит одна-две минуты. Вы читаете диалог целиком и ставите «да» или «нет» по каждому критерию. Не пытайтесь сразу выяснять, почему произошла ошибка. Просто фиксируйте результат в таблице: дата, канал, ссылка на диалог, оценки, короткая заметка.
Проход второй: диагностика
Теперь берите только чаты с ошибками и для каждого отвечайте на вопрос: что именно стало причиной? Типичные причины:
- в базе знаний нет нужной информации;
- информация есть, но устарела или противоречит другой;
- инструкции агента допускают двусмысленность;
- вопрос нужно было передать человеку, а правило передачи не сработало;
- клиент написал неясно, и агент не уточнил.
Сгруппируйте ошибки по причинам. Вот как это может выглядеть. Цифры ниже вымышлены и показывают только форму отчёта.
Такая картинка сразу подсказывает, куда вкладывать силы. Если большинство ошибок связано с базой знаний, переписывать инструкции агента бессмысленно. Если же причина разбросана, возможно, ваши критерии слишком расплывчаты.
Превращайте выводы в изменения и ведите журнал
Проверка без правок превращается в бюрократию. Каждая найденная причина должна получить конкретное действие и ответственного.
- 01Выборка чатов
- 02Быстрая оценка
- 03Диагностика причин
- 04Правки и запись в журнал
Журнал изменений может быть простым: дата, что нашли, что изменили, кто сделал, какой результат ожидаете. Через две-три недели вы увидите, что повторяется. Если одна и та же причина возвращается, значит, правка была поверхностной.
Несколько правил, которые экономят время:
- Не вносите больше трёх-четырёх изменений за неделю. Иначе непонятно, что именно помогло или навредило.
- Проверяйте исправление повторно. На следующей неделе найдите два-три диалога на ту же тему и убедитесь, что ответ стал лучше.
- Сначала тестируйте, потом публикуйте. Любую правку инструкций стоит прогнать на типовых вопросах до того, как она увидит клиентов.
Справедливо сравнивайте каналы
Telegram, WhatsApp, VK и чат на сайте ведут себя по-разному, и оценивать их одной мерой нужно осторожно.
- В мессенджерах клиенты пишут короткими сообщениями и возвращаются через часы. Диалог выглядит «рваным», хотя это норма.
- На сайте человек обычно хочет ответ прямо сейчас, и задержка воспринимается острее.
- В VK часто пишут от имени сообщества, и тон вопросов бывает более неформальным.
Поэтому ведите в таблице отдельный столбец «канал» и сравнивайте результаты внутри канала, а не только в целом. Если процент ошибок в одном канале заметно выше, сначала проверьте, нет ли там специфики: другие типичные вопросы, другой формат сообщений, другая аудитория. Только после этого делайте вывод, что агент работает хуже.
Не забывайте о справедливости и по отношению к людям и ИИ. Применяйте одни и те же критерии к ответам сотрудников и к ответам агента. Если люди могут «договориться по ходу», а агент нет, это не повод занижать оценку агенту, а повод прописать правило явно.
Итог
Хорошая проверка качества скучна и регулярна: одинаковая выборка, одинаковые критерии, быстрый первый проход, внимательный второй, несколько точных правок и запись в журнал. Через месяц у вас будет не набор впечатлений, а понятная история улучшений.
Как организовать проверку в AI SNS CHAT
Большинство шагов из этой статьи можно выполнить внутри платформы. Подробный список возможностей есть на странице /features.
Где читать диалоги. Разговоры из всех каналов, кроме почты, находятся в разделе Activity → Chat logs. Раздел «Inbox» предназначен только для писем. В чат-логах можно отфильтровать диалоги, выделить несколько сразу, пометить флагом, эскалировать, отметить решённым или удалить, а также выгрузить данные для своей таблицы проверки. Там же видны оценки клиентов «палец вверх» и «палец вниз», по которым удобно собирать часть выборки.
Как посмотреть общую картину. В разделе аналитики есть Chats, Topics, Question history и Sentiment. По темам и тональности легко найти участки, куда стоит заглянуть в первую очередь. Расширенная аналитика входит в тариф Pro.
Как исправить ответ. Если вы нашли неудачную реплику, в чат-логах можно отредактировать ответ и сохранить его как образцовый, чтобы обучить агента. Если не хватает фактов, добавьте их в разделе Data sources: например, как Q&A или текстовый фрагмент. Устаревшие материалы замените там же. Правки инструкций вносятся в настройках агента.
Как проверить правку до публикации. Прогоните типовые вопросы в Playground. Он позволяет сравнить два варианта модели рядом. Если изменение оказалось неудачным, у агента есть точки восстановления (до 40 на агента), к которым можно откатиться.
Как обработать передачу человеку. Если в диалоге нужен сотрудник, его можно подключить и перехватить чат: бот при этом приостанавливается. Расписание смен задаётся в Helpdesk → Scheduling (раздел Helpdesk доступен на тарифе Standard и выше). При проверке смотрите, вовремя ли срабатывала передача.
Кто и что менял. В Workspace settings → Activity владельцы и администраторы видят, кто и когда создавал, правил, удалял или загружал материалы. Это готовая основа для журнала изменений. Для тех, кто только читает диалоги, есть роль Viewer, чтобы проверяющему не давали лишних прав на редактирование.
Помощь по интерфейсу. Если не удаётся найти нужный экран, спросите Synthia: она проведёт к нужному разделу и подсветит элемент. Тарифы и лимиты смотрите на странице /pricing.
Частые вопросы
Сколько чатов нужно проверять каждую неделю?
Начните с 15–25 диалогов, если у вас несколько сотен обращений в месяц. Это достаточно, чтобы увидеть повторяющиеся причины, и не превращает проверку в отдельную работу. Если трафик большой, увеличивайте выборку постепенно, но не за счёт глубины разбора. Главное, чтобы размер оставался одинаковым неделя за неделей.
Кого проверять строже: людей или ИИ-агента?
Критерии должны быть одинаковыми. Разница лишь в том, что делать с находкой: ошибку человека вы разбираете в обучении и инструкциях, а ошибку агента исправляете в базе знаний, настройках или правилах передачи. Двойные стандарты искажают картину и мешают честно сравнивать каналы и смены.
Кто должен проводить проверку?
Лучше всего, когда это делает человек, знающий продукт и правила компании, например старший оператор или руководитель поддержки. Полезно иногда менять проверяющих, чтобы увидеть расхождения в оценках. Если оценки сильно расходятся, значит, критерии нужно описать подробнее.
Можно ли ограничиться оценками клиентов и не читать чаты самому?
Оценки полезны как сигнал, но их оставляют не все, и они часто отражают настроение клиента, а не верность ответа. Довольный клиент может получить неточный ответ, а недовольный может злиться на саму ситуацию. Используйте оценки, чтобы выбирать чаты для проверки, но читайте диалоги сами.


