Как подобрать языковую модель для чат-бота поддержки: баланс точности, скорости и стоимости, тест на своих вопросах и план на случай сбоя провайдера.
Список моделей у провайдеров растёт каждый месяц, и легко решить, что нужно просто взять самую новую и мощную. На практике это часто означает медленные ответы в Telegram, лишние расходы и сложности в тех местах, где клиенту нужна всего одна короткая фраза. В этой статье вы найдёте способ выбирать модель под конкретную задачу, проверять выбор на своих вопросах и заранее продумать, что будет при сбое.
Начните с задачи, а не с модели
Прежде чем сравнивать названия, ответьте на несколько вопросов о самой работе, которую должен выполнять агент:
- Какие вопросы задают чаще всего: «где мой заказ», «как вернуть товар», «сколько стоит доставка» или сложные случаи с несколькими условиями?
- Насколько дорога ошибка? Неверный график работы магазина неприятен, а неверное обещание по возврату денег может стоить значительно дороже.
- Где клиент общается: в чате на сайте, в Telegram, WhatsApp, VK? От этого зависит, какую задержку он готов терпеть.
- Насколько длинные нужны ответы: одна строка или подробная инструкция?
- На каком языке и в каком тоне вы общаетесь? Для русского языка, с падежами и вежливым «вы», разница между моделями иногда заметна именно в формулировках.
Запишите ответы на одной странице. Это и есть ваши требования. Без них любое сравнение моделей превращается в спор о вкусах.
Три компромисса: точность, скорость, цена
Три параметра почти всегда тянут в разные стороны. Более мощные модели обычно аккуратнее следуют инструкциям и лучше справляются с запутанными вопросами, но отвечают дольше и стоят дороже. Компактные модели быстрее и дешевле, зато чаще упрощают или теряют детали в сложных случаях.
Точность
Под точностью в поддержке понимают не «умность вообще», а три конкретные вещи: ответ опирается на вашу базу знаний, модель не выдумывает то, чего там нет, и она держится в рамках заданной роли и ограничений. Проверяйте именно это. Красивый, но уверенно неверный ответ хуже честного «уточню у коллег».
Скорость
Клиент в Telegram или WhatsApp привык к быстрой переписке. Если ответ идёт заметно дольше обычного, он может написать повторно или уйти. В чате на сайте терпение обычно ещё меньше: человек смотрит на экран прямо сейчас. Поэтому оценивайте не только «среднее время», но и то, как ответ ощущается в живом диалоге.
Цена
Цена складывается не только из тарифа модели. Важны длина ваших инструкций, объём подтягиваемых фрагментов из базы знаний, длина ответа и число обращений. Представим гипотетический пример: магазин получает 3000 сообщений в месяц, из них около двух третей составляют простые вопросы про сроки доставки и наличие. Если для простых вопросов хватает быстрой модели, разумно приберечь более сильную для оставшейся трети. Цифры здесь условные, а принцип рабочий: считайте не «стоимость модели», а стоимость решения конкретной группы вопросов.
Подбирайте уровень модели под канал и тип вопроса
Одна и та же модель не обязана работать везде. Разделите обращения по сложности и по каналу.
| Ситуация | На что делать упор |
|---|---|
| Короткие вопросы в Telegram и WhatsApp: статус заказа, часы работы | Скорость и умеренная цена |
| Чат на сайте перед покупкой: сравнение тарифов, подбор | Баланс: нужна аккуратность и приемлемая скорость |
| Сообщество или клиенты в VK, где часто пишут развёрнуто и неформально | Устойчивость к «живому» языку, опечаткам, сленгу |
| Спорные случаи: возвраты, претензии, исключения из правил | Точность и осторожность, передача человеку |
Для разных задач удобно заводить отдельных агентов. Один отвечает на частые вопросы быстро, другой работает с более сложными темами. Тогда выбор модели привязан к роли, а не к компромиссу «на всех сразу».
Не забывайте и про человека. Если вопрос выходит за пределы того, что агент должен решать, лучше надёжно передать диалог оператору, чем пытаться «дотянуть» ответ более дорогой моделью.
Планируйте сбой, а не только успех
Любой провайдер модели может иметь перебои: задержки, ошибки, временную недоступность. Если весь ваш канал поддержки завязан на одну точку, молчание бота в пятничный вечер станет вашей проблемой, а не провайдера.
Продумайте заранее:
- Что клиент увидит при ошибке: пустоту, обрыв или понятное сообщение и передачу оператору?
- Есть ли запасной провайдер и в каком порядке система к нему обращается?
- Допустима ли смена вендора, или по требованиям компании все ответы должны идти от одного поставщика?
- Кто и как узнаёт о проблеме: уведомление в рабочем мессенджере, письмо, webhook?
- Что вы сделаете после сбоя: проверите журнал диалогов и вернётесь к клиентам, оставшимся без ответа?
Запасной вариант тоже надо проверить на ваших вопросах. Другая модель может отвечать чуть иначе по тону и длине, и лучше узнать об этом до сбоя, а не во время него.
Практичный способ протестировать модели
Сравнивать модели «на ощупь», задав пару вопросов, ненадёжно. Достаточно простого повторяемого процесса.
- 01Соберите реальные вопросы
- 02Прогоните через 2–3 модели
- 03Оцените по критериям
- 04Выберите, внедрите и пересмотрите позже
Шаг 1. Соберите набор вопросов
Возьмите настоящие обращения из своей переписки. Включите разные группы:
- частые простые вопросы;
- вопросы, ответ на которые есть в базе знаний лишь частично;
- вопросы, на которые ответа в базе нет вообще (бот должен честно сказать, что не знает);
- провокации: попытки увести бота от темы или заставить нарушить правила;
- сообщения с опечатками, сокращениями, смесью русского и английского.
Для первого круга хватит нескольких десятков вопросов. Лучше, чтобы они отражали реальную пропорцию тем, а не только «красивые» случаи. Если после этого решение всё ещё спорное, добавьте вопросы из тех зон, где модели разошлись.
Шаг 2. Задайте критерии
Составьте короткий чек-лист и оценивайте каждый ответ по одинаковым пунктам:
- фактически верно и опирается на базу знаний;
- не придумывает недостающее;
- соблюдает тон и ограничения;
- длина уместна для канала;
- при необходимости предлагает передать человеку.
Хорошо, если оценивает не один человек: коллега из поддержки часто замечает то, что пропускает автор инструкций.
Шаг 3. Смотрите на скорость в реальных условиях
Проверьте ответы в том канале, где они будут жить. Скорость в тестовом окне и в Telegram может ощущаться по-разному.
Шаг 4. Решите и зафиксируйте
Запишите, какую модель выбрали, почему и по каким вопросам она проиграла другой. Через несколько месяцев эта запись сэкономит время, когда появятся новые варианты.
Типичные ошибки
- Всегда брать самую мощную модель. Для простых вопросов это переплата и лишняя задержка.
- Выбирать только по цене. Сэкономленные копейки легко потерять на ошибочных ответах и обращениях, которые пришлось разбирать вручную.
- Тестировать на «удобных» вопросах. Реальные клиенты пишут иначе.
- Менять модель и инструкции одновременно. Тогда непонятно, что именно повлияло на результат. Меняйте что-то одно.
- Не проверять запасной вариант. При сбое выяснится, что он отвечает в другом стиле или хуже следует правилам.
- Забывать о пересмотре. Модели обновляются, ваш каталог и вопросы тоже меняются.
- Игнорировать обратную связь клиентов. Оценки и жалобы показывают проблемы лучше любых синтетических тестов.
Как это делается в AI SNS CHAT
Выбор модели находится в настройках конкретного агента: Агент → Settings → AI. Там доступны текстовые провайдеры Anthropic (Claude), OpenAI, Google (Gemini) и OpenRouter. Список моделей подтягивается у провайдеров и кэшируется примерно на 6 часов, поэтому новые варианты появляются без ожидания обновления платформы. Учтите тарифные ограничения: продвинутые модели и переключение на запасную модель требуют тарифа Hobby или выше. На более низком тарифе используется стандартная модель того же провайдера. Grok (xAI) применяется только в голосе и для текстового чата не используется.
Для сравнения без риска для клиентов есть Playground и режим Playground A/B model compare. Вы задаёте один и тот же вопрос двум моделям и смотрите ответы рядом, ничего не меняя в боевом канале. Это удобное место для вашего набора вопросов из предыдущего раздела.
Если нужно проверить вариант на основе существующего агента, используйте Duplicate: копия получает персону, модель и обучающие данные, но не переписки. Меняете модель у копии, сравниваете, а затем переносите решение в основного агента. Если что-то пошло не так, помогут точки восстановления: до 40 на одного агента.
На сбой провайдера платформа отвечает порядком переключения: сначала собственный провайдер агента, затем Anthropic, OpenAI, Google и OpenRouter. Если по требованиям все ответы должны идти от одного вендора, администратор платформы может включить настройку ai_provider_fallback=same. Для передачи диалога людям настройте смены в Helpdesk → Scheduling и оповещения в Slack, Teams, LINE WORKS, WhatsApp, на почту или webhook. Обращения в Telegram, VK, WhatsApp и на сайте разбирайте в Activity → Chat logs: там есть фильтры, оценки «палец вверх/вниз» и возможность исправить ответ, превратив его в эталонный. Расход кредитов по агентам виден на странице Usage: по условиям тарифов один ответ считается как один кредит. Отдельного клиентского экрана со стоимостью провайдера нет, поэтому качество и скорость сравнивайте в Playground, а нагрузку оценивайте по Usage.
Подробнее о возможностях смотрите на странице функций, а о тарифах и ограничениях — в разделе цен.
Частые вопросы
Нужно ли всегда использовать самую мощную модель?
Нет. Для простых вопросов вроде часов работы или статуса заказа более лёгкая модель обычно отвечает быстрее и экономнее. Мощную модель имеет смысл оставлять для сложных тем, где ошибка дорого стоит, и проверять это на своих вопросах.
Сколько тестовых вопросов нужно?
Для первого сравнения достаточно нескольких десятков реальных обращений, если они охватывают частые, сложные и «ловушечные» случаи. Если модели показывают близкие результаты, добавьте вопросы именно из спорных зон. Строгого числа нет: важнее, чтобы набор отражал вашу реальную переписку.
Можно ли сравнить две модели, не затрагивая клиентов?
Да. В AI SNS CHAT для этого служит Playground с режимом A/B-сравнения моделей: вы видите ответы рядом, а боевые каналы остаются прежними. Дополнительно можно сделать копию агента через Duplicate и экспериментировать на ней.
Что будет, если у провайдера ИИ случится сбой?
Платформа переключается по порядку: сначала провайдер самого агента, затем Anthropic, OpenAI, Google и OpenRouter. Переключение на запасную модель требует тарифа Hobby или выше. Если вам нужен один вендор, эту настройку может включить администратор платформы.
Как часто пересматривать выбор модели?
Разумно возвращаться к нему при выходе заметных новых моделей, при изменении базы знаний, смене ассортимента или росте жалоб. Повторяйте тот же тест на сохранённом наборе вопросов, чтобы сравнение оставалось честным.


