跳到正文
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
团队运营

每周聊天质检指南:让客服AI越用越准

AI SNS CHAT 编辑部发布于 阅读约 6 分钟

从定义好答案、抽样到打分诊断,一套每周30分钟的聊天质检流程,帮跨境团队持续改进AI与人工客服的回复质量。

很多团队上线AI客服之后,质检靠的是“想起来就翻几条聊天记录看看”。结果问题总是被客户投诉时才发现,改完一处,另一处又出错。

这篇文章给你一套可以每周固定执行的质检流程:先定义什么是“好回复”,再抽样、打分、找根因,最后把结论变成具体修改并留下记录。适用于网站聊天、WeChat、WhatsApp、LINE等渠道,团队再小也能做。

为什么固定流程比临时抽查有效

临时抽查有三个常见问题:

  • 样本偏:人们往往只翻最近的几条,或者只看被投诉的那几条,看不到日常流量的真实面貌。
  • 标准漂移:今天觉得“还行”的回复,下周换个人看可能就是“不合格”。
  • 改完不追踪:发现了问题,修改了知识库,但没人确认下周同类问题是否真的消失了。

固定节奏的好处是,每周的数据可以互相比较。你能看到“退换货政策”相关的错误是否在减少,也能在新品上线、促销季之前提前发现知识缺口。

对跨境电商来说,这一点尤其重要。物流时效、关税、退货地址、各地区的支付方式经常变化,知识库一旦过期,AI会非常自信地给出旧答案。

先定义“好”,再读第一条聊天

动手之前,先用一页纸写清楚评分标准。没有标准,质检就只是个人口味。

建议的四个维度

  1. 准确:回复内容是否与你的政策、价格、库存、时效一致。
  2. 完整:客户的问题是否被完整回答,有没有漏掉第二个问题。
  3. 语气与语言:是否符合品牌口吻,是否用客户使用的语言和写法回复。例如,面对新加坡客户的英中混写,或港台客户的繁体用语,回复不应显得生硬。
  4. 处理得当:该转人工时有没有转,不该乱承诺的事(赔偿、具体到货日期)有没有承诺。

每个维度用最简单的“通过/不通过”判断,比1到5分更容易保持一致。一条聊天只要有一个维度不通过,就记为一次失败。

写下“红线”

红线是无论其他方面多好,只要出现就必须记录并立即处理的情况,例如:

  • 编造了政策或承诺了知识库里没有的赔偿;
  • 泄露了其他客户的信息;
  • 客户明确要求人工,却被继续拦在机器人里。

抽一份能代表真实流量的样本

随机抽最近的聊天,并不等于代表真实流量。更好的办法是分层抽样。

先分层,再抽取

  • 按渠道:网站聊天、WeChat、WhatsApp、LINE各抽一部分,而不是让流量最大的渠道占满样本。
  • 按结果:已解决的、转了人工的、客户给了差评的、客户没有回应就离开的,各取几条。
  • 按主题:订单查询、退换货、物流、产品咨询、付款问题各覆盖到。

一个假设性的例子

假设一家做东南亚市场的饰品店,每月收到约300条聊天。团队每周抽25条:10条来自差评或被标记的聊天,10条随机抽取,5条是转人工的聊天。这样既能抓到明显问题,也不会错过“客户没抱怨但其实答错了”的情况。

差评样本价值高,但不能只看它们。很多错误答案客户根本不会点踩,他们只是默默离开。随机抽样就是用来发现这类沉默的问题。

先快速打分,再慢慢诊断

把质检分成两个阶段,效率会高很多。

第一阶段:快速打分(每条约1到2分钟)。 只对照评分标准,判断通过或不通过,不要在这时去想怎么修。25条聊天,大约半小时可以完成。

第二阶段:集中诊断。 把所有不通过的聊天放在一起,逐条追问一个问题:根因是什么?

常见根因可以归为几类:

  • 知识缺失:知识库里根本没有这条信息。
  • 知识过期或冲突:新旧政策并存,AI引用了旧的。
  • 指令不清:角色设定和规则没有说明该怎么处理这类问题。
  • 转人工规则:该升级的情况没有触发。
  • 工具或数据:订单查询等外部数据没有接入或返回异常。
知识缺失
4
知识过期或冲突
3
指令不清
2
转人工规则
1
外部数据问题
1
示例:一次25条聊天的质检中,失败案例按根因分类示意示例

上图是假设数据,用来说明方法:25条里共11条失败,其中七成来自知识库本身。这意味着本周最有价值的动作是补充和清理知识,而不是反复调整语气设定。

把发现变成修改,并留下记录

诊断结束后,每个根因对应一个具体动作,并指定负责人和复查时间。

常见的对应关系

  • 知识缺失:补一条问答或文档,写清楚适用地区与日期。
  • 知识过期:删除旧内容,而不是在旁边再加新内容。
  • 指令不清:在角色设定中加入一句明确规则,例如“涉及赔偿金额时,不要承诺,转交人工”。
  • 转人工规则:补充触发条件,比如客户连续两次表示不满。

用一份简单的日志保持连续性

日志只需要五列:日期、问题聊天、根因、修改动作、复查结果。下一周开始质检时,先检查上周的修改是否生效,再看新样本。

  1. 01抽样(按渠道与结果分层)
  2. 02快速打分
  3. 03归类根因
  4. 04修改并记录
  5. 05下周复查
每周聊天质检循环示意示例

坚持几周之后,这份日志本身就是一份宝贵的资产:新同事可以从中了解产品常见的坑,也能向管理层说明质检带来了哪些具体改进。

公平对待不同渠道

不同渠道的客户行为不同,用同一把尺子衡量,容易误判。

  • 网站聊天:客户通常有明确的购买或售后问题,期待快速、完整的回复。
  • WeChat:多见于华语客户,语气偏口语,常用语音和图片,评估时要考虑客户可能只发了一张截图。
  • WhatsApp:东南亚客户常用,消息碎片化,一个问题可能分成好几条发来,评估“完整性”时应看整段对话,而不是单条消息。
  • LINE:台湾地区和日本相关业务常见,贴图和简短回复多,语气通常更柔和。

建议在评分时标注渠道,并在汇总时按渠道分开看。如果某个渠道的失败率明显偏高,原因可能是该渠道的客户提问方式与知识库的写法不匹配,而不是AI整体表现差。

语言也是如此。同一个问题,客户可能用简体、繁体、英文,甚至混合书写。质检时要检查回复是否沿用客户的语言,以及关键名词(产品名、政策名)是否统一。

在 AI SNS CHAT 中如何落地

下面是用 AI SNS CHAT 完成上述流程的做法,所有入口均来自侧边栏。

1. 读取聊天记录。 网站聊天、WeChat、WhatsApp、LINE等渠道的对话都在“Activity → Chat logs”。需要注意,“Inbox”只用于电子邮件,其他渠道不在那里。聊天记录支持筛选和导出,你可以按渠道、按结果筛出样本,导出后在表格里打分。

2. 利用标记与评分。 聊天记录里有点赞/点踩评分,也可以批量选择、标记、升级、标记为已解决。把质检中发现的问题聊天打上标记,方便下周复查。

3. 把好答案直接教给 AI。 在聊天记录和邮件收件箱中,都可以把一条回复编辑成理想答案,用来训练智能体。对于“知识缺失”类问题,这是最快的修复路径。

4. 补充和整理知识。 在“Data sources”中可以管理文件、文本片段、网站、问答等来源。每个来源会显示是谁添加、谁最后编辑的,过期内容可以直接修改或移除。

5. 先试后改。 修改角色设定或知识之后,可以在 Playground 里用上周出错的问题重新测试;如果想比较不同模型的回复,可使用 Playground 的 A/B 模型对比。需要回退时,智能体有恢复点(每个智能体最多40个),改坏了可以回滚。

6. 查看趋势与改动记录。 “Analytics”提供聊天、主题、问题历史与情绪分析(高级分析需要 Pro 方案)。在“Workspace settings → Activity”中,所有者与管理员可以看到每次创建、编辑、删除和上传的操作人、功能与时间,正好用来核对“上周谁改了什么”。

7. 检查转人工。 在“Helpdesk → Scheduling”设置排班后,转人工会自动分配给当班的人。质检时可以核对这类聊天是否被及时接手。Helpdesk 需要 Standard 或更高方案。

如果不确定某个设置在哪里,可以问侧边栏中的 Synthia,她可以带你导航到对应页面。方案与功能详情见 /features 和 /pricing。

结语

聊天质检不需要复杂的系统,需要的是固定的节奏:写好标准、分层抽样、先打分后诊断、让每个发现都变成一条修改并记录。第一周可能只发现几个小问题,但几周之后,你会清楚地知道AI客服在哪些问题上可靠、哪些问题上需要人工把关。

常见问题

每周应该抽查多少条聊天?

对大多数小团队,每周20到30条已经足够发现主要问题。如果每月聊天量只有几十条,可以全部过一遍;如果量很大,也不必成比例增加,而是保持分层抽样,并在新品上线或促销期间临时增加样本。

对AI智能体和人工客服,哪一个应该审得更严?

使用同一套标准。AI会把同一个错误大规模重复,所以一个错误的影响面更大,值得优先修复;人工则更容易出现语气和一致性问题。红线条款对两者都适用。

应该由谁来做质检?

最好由熟悉政策和产品的人负责,比如客服主管或运营。可以轮流分担,但评分标准必须统一。避免让回复的作者给自己打分,换一个人看更容易发现盲点。

可以直接用客户的评分代替人工质检吗?

不建议。评分只能反映愿意点击的那部分客户,很多答错的聊天不会收到差评,满意的评分也可能只是因为客户语气好。评分适合作为抽样线索,真正的判断仍要靠读对话本身。

#聊天质检#客服运营#AI客服#跨境电商

用 AI SNS CHAT 付诸实践

创建基于您自有内容训练的 AI 智能体,并连接到网站、LINE、WhatsApp 等渠道。免费开始,无需信用卡。