跳到正文
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

AI客服解决率怎么算才准:从收尾率到验证解决率

AI SNS CHAT 编辑部发布于 阅读约 7 分钟

机器人没转人工,不等于问题解决了。本文教你分层定义、抽样复核、处理转人工,算出站得住脚的AI客服自助解决率。

很多团队在上线AI客服后,第一个想看的数字就是“AI解决了多少”。但后台最容易拿到的数字,往往只是“没有转人工的对话占比”,它和客户真正把问题办成了,中间还隔着一大段距离。本文带你把这个指标拆开来看,定义清楚、分层计算、合理抽样,最后得到一个管理层和一线客服都愿意相信的解决率。

为什么“显而易见”的解决率会骗人

最直接的算法是:没有转人工的对话数,除以对话总数。这个数字有时叫“收尾率”或“遏制率”(containment rate)。它好算,也好看,但它至少有三个盲点。

  • 客户放弃了。 他问了两遍没得到有用答案,关掉网页走人,系统记录为“未转人工”。
  • AI答错了,客户却没发现。 比如运费规则、退换货期限回答得很自信但不准确,客户当场说“好的谢谢”,几天后才发现被误导。
  • 根本不是客服问题。 问候、测试消息、误触、广告骚扰也被算进分母或分子,让数字忽高忽低。

所以收尾率只能回答“有多少对话没有人工参与”,回答不了“有多少客户的问题被正确解决”。把两者混为一谈,会让你高估AI,也会让你错过真正该补的知识库内容。

定义术语,再开始计数

在统计任何数字之前,先把下面几个词写成团队共识,最好落到一页文档里。

先确定“一次对话”

跨境电商常见的情况是:同一位客户今天在网站聊天问一句,明天又在WhatsApp或WeChat追问。你要决定按“会话”算,还是按“客户的同一个问题”算。建议以“一个独立问题”为单位,同一问题的后续追问并入原记录,否则重复咨询会拉低或拉高结果。

先确定分母

分母应该是“有真实客服诉求的对话”,不是所有进来的消息。下面这些建议剔除并单独记录数量:

  • 纯问候、测试、误触
  • 垃圾信息与骚扰
  • 客户只是留下联系方式、没有提问(如纯线索收集)

先确定“解决”的标准

建议用一句话写死:客户的问题得到了准确的回答或完成了所需操作,且在约定观察期内(例如48小时)没有就同一问题再次来问。“准确”由人工复核判定,“没有再次来问”由记录核对。

分层建立指标

与其只报一个数字,不如分层报告。每一层都比上一层更严格,读的人一眼就能看到“水分”在哪里。

  1. 收尾率: 没有转人工、也没有被标记为升级的对话占比。
  2. 回答有效率: 在收尾的对话中,AI的回答确实对准了问题且内容准确的占比。
  3. 验证解决率: 在回答有效的对话中,客户没有放弃,观察期内也没有为同一问题再次咨询的占比。

下面是一个假设性的示例:假设某跨境店铺一个月收到300条有效咨询,其中210条没有转人工。

收尾率(无人工介入)
70
回答准确、对准问题
63
客户未放弃且未重复来问
56
示例(假设数据):70%的收尾率如何变成56%的验证解决率示意示例

换算成数量:210条收尾对话里,抽样复核后发现约有21条的回答不准或答非所问(合计189条有效),再扣除约21条客户中途离开或几天内又来问同一件事的情况,最终约168条算作验证解决,也就是300条中的56%。

这个差距不是坏消息。它告诉你:有14个百分点损失在“回答质量”,有7个百分点损失在“客户没被留住”,两者对应的改进动作完全不同,前者补知识库,后者优化追问和转接流程。

抽样要严谨,不要图方便

第二层和第三层都需要人工复核,而复核不可能逐条做。关键是抽样方式。

常见的“方便抽样”陷阱

  • 只看客户给了差评的对话,结果把解决率低估了。
  • 只看最近几条或自己熟悉的话题,结果被某一类问题主导。
  • 只在工作日白天复核,漏掉夜间和周末最需要AI独当一面的时段。

更可靠的做法

  • 随机抽取,并按层分组。 按渠道(网站聊天、WeChat、WhatsApp、LINE)和主题(订单查询、退换货、支付、产品规格等)分别抽,避免某个渠道或主题被淹没。
  • 固定每月复核数量。 数量取决于你的人力。要知道:若随机抽100条,结果上下大约有10个百分点的误差范围,所以不要为一两个百分点的波动大惊小怪。想要更稳,就增加样本或把几个月合并看趋势。
  • 双人盲审一小部分。 让两位同事各自独立判定同一批样本,对不上的再讨论,用来校准“什么算准确”。
  • 保留抽样记录。 记下抽样日期、范围和判定人,以便日后复现。

善用客户信号,但认清偏差

点赞、点踩、满意度评分、“已解决”按钮,都是有用的辅助信号,但它们不能直接当作解决率。

  • 回应的人是少数。 大多数客户不会评分。愿意评分的,往往是特别满意或特别不满的人。
  • 礼貌偏差。 华语地区的客户常常会习惯性地回一句“好的谢谢”,这并不代表问题真的解决了。
  • 点赞不等于准确。 客户可能喜欢语气友好,却没发现信息有误。

合理的用法是:把评分当成复核的线索。例如优先复核被点踩的对话,以及点赞但随后又来咨询同一问题的对话;同时,在随机样本里对比“评分”和“人工判定”的差异,了解你家客户的评分偏差有多大。

公平对待转人工

转人工并不等于AI失败。有些问题本来就该由人处理,例如退款争议、需要审核的订单变更、情绪激动的投诉。如果你把所有转人工都算作失败,会逼着团队去“藏”转接,反而伤害客户体验。

建议把转人工分成三类单独记录:

  • 按设计转接: 规则规定必须由人工处理的事项,不计入AI失败,但也不计入AI解决。
  • AI无法回答而转接: 属于知识缺口,计入未解决,并作为补充知识库的线索。
  • 客户主动要求真人: 单独统计,观察是否集中在某类问题上。

另外要看转接之后发生了什么:是否在承诺的时间内有人接手,客户是否被迫重复描述问题。转接做得好,客户满意度反而可能更高。

汇报方式:让人愿意相信

数字被质疑,多半不是因为数字本身,而是因为口径不透明。汇报时遵循三个原则:每次都写明定义、每次都同时给出各层数字、每次都附上样本量和复核方式。

  1. 01筛选有效对话
  2. 02计算收尾率
  3. 03随机抽样人工复核
  4. 04汇报分层结果与原因
从原始对话到可信的解决率示意示例

汇报模板可以很简单:

  • 本月有效咨询数(以及剔除了多少无效消息)
  • 收尾率、回答有效率、验证解决率三个数字
  • 抽样数量、抽样方式、复核人数
  • 未解决的前三大原因,以及下个月的改进动作

趋势比单月数字更重要。保持口径不变,连续几个月对比,才看得出知识库更新或流程调整是否真的有效。

在 AI SNS CHAT 中怎么做

需要先说明:AI SNS CHAT 的产品资料中没有写明有一个自动算出“验证解决率”的单一指标,所以下面的做法是用现有的记录和导出功能,配合人工复核来计算。

  • 查看对话: 除邮件外,各渠道(网站聊天、WeChat、WhatsApp、LINE 等)的对话都在“Activity → Chat logs”里。邮件对话则在“Inbox”。你可以用筛选条件缩小范围,做按渠道、按时间的抽样。
  • 标记与整理: 在 Chat logs 中可以批量选择对话,并执行标记(flag)、升级(escalate)、解决(resolve)或删除。复核时可以把“已确认解决”“需要跟进”的结果标记下来,方便日后统计。
  • 导出做统计: Chat logs 支持导出。把导出的数据放进表格,加上你自己的“回答是否准确”“观察期内是否重复咨询”两列,就能按前文的分层方式算出各层比例。
  • 参考评分: Chat logs 里有点赞/点踩评分,可以当作优先复核的线索,不要直接当作解决率。
  • 趋势参考: Analytics 中有 Chats、Topics、Question history 和 Sentiment,用来观察哪些话题量大、客户情绪如何。高级分析需要 Pro 方案。
  • 把复核结果变成改进: 在 Chat logs 或 Inbox 里接管对话后,可以把回复编辑成理想答案,用来训练智能体;也可以在 Data sources 里补充 Q&A 或文件,再到 Playground 里测试修改后的效果。
  • 转人工的记录: Helpdesk 的 Scheduling 可按人员和时区设置值班,转接会自动分配给当班的人;系统在转接时给客户的“接下来会怎样”说明,依据的是值班表,不会凭空编造等待时间。Helpdesk 需要 Standard 或更高方案。

如果你想先了解各功能的范围,可以查看 功能页面;各方案的限制与价格见 价格页面。

结语

解决率不是一个数字,而是一套口径。先定义清楚“什么算解决”,再分层计算、随机抽样,把客户评分当线索而不是结论,并公平对待转人工,最后连同方法一起汇报。这样得到的数字也许没有收尾率那么漂亮,但它能真正指导你去补知识库、改流程,也更经得起管理层的追问。

常见问题

收尾率(containment rate)和解决率是同一回事吗?

不是。收尾率只表示对话没有转人工,不关心客户的问题是否真的被解决;解决率要求回答准确,且客户没有放弃或为同一问题再来咨询。收尾率通常是解决率的上限,两者的差距正好反映了AI的“水分”。

每个月应该复核多少条对话?

取决于你的人力和对话量,没有统一答案。可以从每月随机复核几十到一百条开始,并按渠道和主题分组抽取。样本越少,结果波动越大,例如随机抽100条时误差大约在上下10个百分点,所以更适合看多个月的趋势,而不是纠结单月的小幅变化。

客户点赞可以算作已解决吗?

不建议直接这样算。愿意评分的客户只是少数,而且华语地区的客户常有礼貌性回应,点赞也可能只是喜欢语气友好,并不代表信息准确。更好的做法是把评分当作复核线索,并在随机样本中对比评分与人工判定的差异。

AI SNS CHAT 会自动计算解决率吗?

根据现有产品资料,没有写明有一个自动输出“验证解决率”的指标。你可以在 Chat logs 中筛选、标记并导出对话,再结合人工复核,在表格里按本文的分层方式计算。Analytics 里的对话量、主题和情绪数据可以作为辅助参考。

#AI客服#解决率#客服KPI#抽样复核

用 AI SNS CHAT 付诸实践

创建基于您自有内容训练的 AI 智能体,并连接到网站、LINE、WhatsApp 等渠道。免费开始,无需信用卡。