给跨境电商与华语企业的客服AI选型指南:按任务、渠道和失败预案权衡精度、速度与成本,并用小测试集验证。
很多团队选客服AI模型时,只问一句:哪个最聪明?上线之后才发现,客户在WhatsApp上等了好几秒,月底账单也超出预期,而大部分问题其实只是“几点发货”“怎么退货”。本文帮你把选型拆成三个可以讨论的维度:精度、速度、成本,并给出一套不依赖运气的测试方法,让你的选择有依据、可调整。
先看任务,再看模型
选模型之前,先把机器人要做的事写下来。同样叫“客服”,工作内容可能差别很大。
- 查询类: 营业时间、运费、尺码表、退换货政策。答案基本固定,就写在知识库里。
- 引导类: 帮客户选产品、收集线索、预约时间。需要多轮对话和一点判断力。
- 处理类: 订单异常、投诉、退款争议。涉及情绪、例外情况,最后往往要转人工。
- 多语言类: 新加坡、马来西亚的客户可能在一段对话里中英夹杂,港台客户用繁体,日本客户用日文。
查询类任务对模型的“聪明程度”要求不高,更看重答案忠实于知识库、不乱发挥。处理类任务则相反,更需要理解上下文和语气。把任务分清楚,你会发现不需要一个模型包打天下。
另外要区分两件容易混淆的事:模型“知道得多”和模型“答得对”并不是一回事。客服场景里,答案应当来自你自己的资料,而不是模型的记忆。所以知识库是否完整、是否更新,往往比换一个更强的模型更能提高准确率。选型之前,先确认资料到位。
三个维度如何互相拉扯
精度、速度、成本三者通常没法同时拿满分。理解它们怎么互相牵制,是选型的核心。
精度:错在哪里才是关键
精度不是一个单一分数。客服场景里至少有三种“错”:
- 答非所问: 没理解客户的意思。
- 编造内容: 知识库里没有,却说得很肯定,比如编出一个不存在的退货期限。
- 语气失当: 内容没错,但对生气的客户太生硬,或者对新加坡客户用了太书面的腔调。
第二种最危险。它会直接带来客诉甚至纠纷。评估精度时,要专门检查“资料里没有的问题,模型会不会老实说不知道并转人工”。
速度:在聊天里,慢比错更显眼
在网站聊天、WhatsApp、WeChat这类即时渠道,客户习惯秒回。回复慢几秒,对话体验就明显下降。需要留意的有两点:
- 看的是“首字出现的时间”还是“整段回复完成的时间”。支持流式输出的方式,会让客户感觉更快。
- 回复越长越慢。把提示词里的要求写成“先给结论,再补充一两句”,往往比换模型更有效。
成本:别只看单价
成本不只是模型本身的价格,还包括:
- 因为答错而产生的人工返工;
- 因为回复冗长而多消耗的处理量;
- 客户因体验差而流失的订单。
举一个假设性的例子:如果一家店每月收到300个聊天,其中大部分是物流和退换货的常规问题,那么为每一次对话都启用最强模型,多数时候是在为用不上的能力付费。反过来,如果只有少数高价值订单的咨询需要细致处理,把强模型留给这部分对话,整体更划算。这里的数字只是演示思路,你的实际比例要用自己的聊天记录来算。
按渠道和问题类型分层
不同渠道的客户预期不同,模型也可以有不同侧重。
| 场景 | 客户预期 | 选型倾向 |
|---|---|---|
| 网站聊天(售前咨询) | 快速、能推荐产品 | 速度与精度均衡 |
| WhatsApp(订单与物流) | 即时、简短 | 偏快、偏省,回复要短 |
| WeChat(品牌服务号) | 礼貌、语气得体 | 重视语气与中文表达 |
| LINE(日本及东南亚部分市场) | 亲切、对话感强 | 重视多轮对话与语气 |
| 投诉、退款争议 | 被理解、被认真对待 | 偏精度,必要时转人工 |
需要提醒的是,分层不等于模型越多越好。每多一个模型,你就多一份测试、多一份维护。比较务实的做法是:
- 先用一个均衡的默认模型跑起来;
- 观察聊天记录,找出表现最差的一类对话;
- 只为这一类对话考虑换模型,或者把它们转给人工。
如果你的业务同时覆盖多个渠道,也可以为不同渠道建立不同的机器人,各自使用适合的模型和提示词。例如面向WhatsApp的物流机器人强调简短,面向网站的选购顾问强调引导。
为失败做准备,而不只是为成功
大多数选型讨论只谈“正常情况下谁更好”,却忽略了“出问题时怎么办”。至少要想清楚三类情况。
服务商故障或限流
任何一家AI服务商都可能出现故障或高峰期变慢。如果你的机器人只依赖一个模型来源,一旦出问题,客户看到的就是沉默或报错。所以要问:有没有备用方案?切换后回复质量能接受吗?
模型更新带来的变化
服务商会不断推出新模型、下线旧模型。同一个名字的模型,行为也可能随更新有细微变化。这意味着“上线时测过一次”并不够,需要定期复查。
答不好时的退路
再好的模型也有答不了的时候。所以必须设计好:
- 资料里没有答案时,机器人如何说明并转人工;
- 转人工后,客户会被告知什么;
- 值班的同事如何及时收到提醒。
用一个小测试集来验证
不要凭感觉选,也不要只看别人的评测榜单。榜单测的是通用能力,而你的客户问的是你的产品。
- 01收集真实问题
- 02用候选模型逐题作答
- 03按标准打分并对比
- 04小范围上线并复查
第一步:建立测试集
从真实聊天记录里挑题目,覆盖这几类:
- 常见问题(占多数);
- 资料里没有答案的问题(测试是否会编造);
- 带情绪的投诉;
- 中英混杂、繁简混用、错别字的提问;
- 想让机器人“越界”的问题,比如要求它承诺没有授权的折扣。
测试集不需要很大。几十道有代表性的题目,往往比几百道重复的题目更有价值。关键在于覆盖面,而不是数量。
第二步:定好评分标准
提前写下评分维度,避免看完结果再找理由:
- 事实是否与资料一致;
- 不知道时是否承认并转人工;
- 语气是否合适;
- 长度是否适合该渠道;
- 响应速度是否可接受。
第三步:盲测对比
让同事在不知道是哪个模型的情况下,对两个答案做选择。这样可以减少先入为主。
第四步:小范围上线,再看真实数据
测试集通过后,先在一个渠道或一个机器人上使用,观察聊天记录中客户的点赞与点踩、转人工的比例、以及同事修改答案的频率。这些真实反馈,比任何离线测试都更能说明问题。
常见的误区
- 默认选最贵的。 贵不等于适合。对简单的查询类问题,更强的模型未必带来可见的改善,却可能让回复更慢。
- 只测“好问题”。 测试集里全是标准问法,上线后遇到错别字、方言式表达就露馅。
- 把知识库问题当成模型问题。 答错常常是因为资料过期或缺失。换模型之前,先检查资料。
- 一次选定,不再复查。 业务在变,模型也在变。
- 忽略语言差异。 简体、繁体、英文、马来文混用时,不同模型表现可能不同,要用对应语言的真实问题测。
- 没有退路。 只考虑机器人答得对的情况,没有设计答不了时的转人工流程。
- 同时改太多东西。 一次既换模型又改提示词又改资料,你无法知道到底是什么带来了变化。每次只改一项。
在 AI SNS CHAT 里怎么做
AI SNS CHAT 把模型选择放在每个机器人自己的设置里,路径是:机器人 → Settings → AI。文本模型可以来自 Anthropic(Claude)、OpenAI、Google(Gemini)和 OpenRouter 这几家服务商。平台会定期读取各服务商的模型列表(缓存约6小时),所以你看到的选项会随服务商更新而变化。
先用 Playground 对比
在正式换模型之前,可以用 Playground 做 A/B 模型对比:把同一道题交给两个模型,并排查看答案。这一步不会影响正在服务客户的机器人。把前面整理的测试集逐题过一遍,就能得到初步判断。
如果想在更接近真实的环境里试验,可以使用 Duplicate 复制机器人。复制会带上人设、模型和训练资料(不包含对话记录),你可以在副本上换模型,而正式的机器人保持不变。另外,每个机器人最多可保留40个还原点,换模型后发现效果不好,可以回滚。
故障转移
AI SNS CHAT 的文本回复有故障转移机制:先用机器人自己设定的服务商,如果不可用,再依次尝试 Anthropic、OpenAI、Google、OpenRouter。需要注意:
- 高级模型和模型故障转移需要 Hobby 或更高的套餐;
- 较低的套餐会退回到同一服务商的标准模型;
- Grok(xAI)只用于语音,不会用于文字聊天。
上线后看什么
在 Activity → Chat logs 里,可以按条件筛选对话,查看客户的点赞与点踩评分。遇到答得不理想的回复,可以把它修改成理想答案,用来训练机器人。网站聊天、WhatsApp、LINE、WeChat 等渠道的对话都集中在这里(Inbox 仅用于邮件)。用量方面,Usage 页面会按机器人显示积分消耗;按定价页面的说明,一次回复计一个积分。更多细节可以参考 定价 与 功能。
兜底:转人工
在 Helpdesk → Scheduling 里可以按人员和时区设置值班表,转人工时自动分配给当班同事,并通过 Slack、Teams、LINE WORKS、WhatsApp、邮件或 webhook 提醒。系统会根据值班表给客户补一句“接下来会发生什么”,不会编造等待时间。Helpdesk 需要 Standard 或更高的套餐。
常见问题
是不是应该一直使用能力最强的模型?
不必。常规的物流、退换货、营业时间这类问题,答案主要来自你的知识库,更强的模型未必带来明显改善,反而可能更慢。更合理的做法是先用均衡的模型,再把更强的模型留给确实答不好的那一类对话。
测试集需要多少道题?
没有固定数字。几十道有代表性的题目通常就足以发现明显差异,重点是覆盖常见问题、资料里没有答案的问题、投诉、中英混杂的提问,以及想让机器人越界的提问。发现新问题类型时再逐步补充。
能在不影响客户的情况下对比两个模型吗?
可以。在 AI SNS CHAT 中,可以用 Playground 的 A/B 模型对比并排查看答案,也可以复制机器人,在副本上试验,正式机器人不受影响。试验之后,如果要改正式机器人的模型,建议先在一个渠道小范围观察。
AI服务商出现故障怎么办?
在 AI SNS CHAT 里,故障转移会先用机器人自己的服务商,再依次尝试其他服务商。这项能力需要 Hobby 或更高套餐。除了技术层面的备用,还应准备好转人工的流程,保证客户不会被晾在一边。
多久需要重新检视一次模型选择?
建议定期复查,并在服务商发布新模型、你的产品或政策有较大变化、或客户反馈变差时额外复查。每次复查都用同一套测试集,结果才可以前后比较。


