跳到正文
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

聊天流程A/B测试:客服团队的实操指南

AI SNS CHAT 编辑部发布于 阅读约 8 分钟

改了欢迎语或转人工规则,效果真的更好吗?本文讲解如何选指标、分流、判断样本量,并避开常见误区,用数据优化聊天流程。

很多客服团队改了欢迎语、调了转人工规则,就凭感觉说“好像顺畅多了”。可是客户的问题每周都在变,旺季、促销、新品上架都会影响对话,单凭印象很难判断改动是否真的有效。

本文介绍一套适合中小团队的聊天流程A/B测试方法:怎么选指标、怎么拆分变量、怎么分流、要跑多久,以及如何避免被偶然波动误导。例子以网站聊天、WeChat、WhatsApp 和 LINE 为主,适合新加坡、马来西亚、港台等地的华语企业和跨境电商。

哪些聊天流程值得测试

不是所有改动都需要做A/B测试。字词上的小修小补直接改就好,值得测试的是会明显影响客户行为的环节:

  • 开场与欢迎语:是先问“请问有什么可以帮您”,还是直接给出三个常见问题按钮?
  • 信息收集顺序:先问订单号,还是先问问题类型?
  • 答复的长度与语气:一段完整说明,还是分点的简短答复?
  • 转人工的触发条件:客户第几次追问后转人工,还是一开始就提供“转人工”入口?
  • 留资时机:在解答之后邀请留下联系方式,还是先留资再解答?
  • 下班时间的处理:告知客户“明早回复”,还是让AI先尽量解决,并说明人工何时上线?

判断标准很简单:这个改动如果有效,是否会带来可衡量的业务变化?比如跨境电商每天凌晨都有来自不同时区的物流咨询,那么“夜间提示语”就值得测;而把“您好”改成“你好”,大概不值得。

先定一个主要指标,再动手改

测试开始之前,先写下一个主要指标。事后挑指标是最常见的自欺方式:哪个数字漂亮就说哪个有效。

常用的候选指标:

指标适用场景注意点
无需转人工的解决率以降低人工负担为目标要先约定“解决”的定义
客户好评(点赞/点踩)比例关注体验只有部分客户会评价,样本偏向两端
留资率咨询型、预约型业务要排除只是随口聊聊的访客
转人工率评估转人工规则下降不一定是好事,可能只是客户放弃了
首次回复后的继续对话率测试欢迎语只反映参与度,不等于解决问题

建议另设一两个护栏指标,用来确保主要指标变好的同时,其他方面没有变差。例如你想提高“无需转人工的解决率”,就要同时盯着点踩比例;否则AI可能只是把客户“拖”走了,数字好看,体验却下降。

一次只改一个变量

如果B版同时换了欢迎语、缩短了答复、又调整了转人工条件,结果变好时你就无法知道是哪一项起了作用。一次测试只改一件事,其余全部保持一致。

实际操作中,把B版写成一句话:“与A版唯一的区别是______。”如果这句话需要用“和”连接两件事,就拆成两轮测试。

一个完整的测试周期大致如下:

  1. 01提出假设并选定主指标
  2. 02只改一个变量,做出B版
  3. 03同期分流并收集对话
  4. 04对比结果,采用或回退
聊天流程A/B测试的基本循环示意示例

写好假设

假设要具体,并且可以被证伪。比如:

  • 差:“新的欢迎语会更好。”
  • 好:“在欢迎语里直接列出‘查物流、退换货、尺码’三个入口,会让客户在首轮就说清问题,从而提高无需转人工的解决率。”

好的假设同时说明了改动、预期机制和要看的指标,测试结束后你能清楚知道自己是对了还是错了。

公平分流:如何把访客分成两组

A/B测试成立的前提,是两组客户尽量相似。最理想的是随机分流;如果工具不支持自动随机,也要尽量做到“同一时期、相似人群”。

可行的手动分流方式:

  1. 按入口分:两个相似的页面或两个渠道入口,分别接入A版和B版。比如同类商品的两个详情页。
  2. 按时间轮换:这是最弱的方案。如果必须使用,请按“天”交替而不是按“周”,并确保两个版本覆盖相同数量的工作日与周末。
  3. 按地区或语言分:只在条件非常接近时使用,例如新加坡和马来西亚的客户行为差异很大,就不应该拿它们分别当A组和B组。

要避免的做法:

  • 先跑A版一周,再跑B版一周,然后直接比较。这期间可能碰上发薪日、促销或节日,比较的就不是流程,而是日历。
  • 把老客户分给A、新客户分给B。老客户本来就更熟悉流程,会让A版显得更好。
  • 让客服根据自己的判断决定把哪个客户转到哪个版本。

分流之后要核对一次:两组的渠道构成、来访时段、咨询类型是否大致相当。如果A组里大部分是 WhatsApp 老客户,B组里大部分是网站新访客,这次结果就不能用了。

跑多久、需要多少对话

时长由两个条件共同决定:样本量够不够,以及是否覆盖完整的业务周期。

对话量少的小店,常见的错误是跑了两三天就下结论。建议至少覆盖一个完整的星期,让工作日与周末都被包含;如果你的业务有明显的月度节奏(例如月初集中查订单),则尽量跑满一个周期。

关于样本量,没有适用于所有场景的固定数字,它取决于两个版本预期相差多少:差距越小,需要的对话越多。可以记住这个直觉:

  • 如果改动效果很大(例如解决率相差二十个百分点以上),几百条对话常常就能看出来。
  • 如果效果很小(相差几个百分点),可能需要上千条才能与随机波动区分开。

打个比方(假设数字):一家做跨境母婴用品的小店,每月大约有 300 条聊天。把测试对象拆成 A、B 两组后,每组每月只有约 150 条,这时只有很明显的差异才可信。对于小体量的店铺,正确的做法是:只测大改动,并把测试拉长,而不是反复测微调。

另一个原则是提前定好结束条件,例如“每组满 150 条对话,且至少跑满 14 天”。不要一边看数据一边决定什么时候停,这样很容易在A看起来领先的那一刻就喊停。

读结果时别自欺欺人

结果出来之后,先看数字,再问“这个差距会不会只是运气”。

A版(原流程)
96
B版(新流程)
108
示例:假设测试中“无需转人工解决”的对话数(每组 150 条)示意示例

这是一个假设的例子,不是真实数据。A版 150 条里有 96 条无需转人工解决,约 64%;B版有 108 条,约 72%。看起来B版领先了 8 个百分点,让人忍不住想马上全量切换。

但样本这么小,8 个百分点的差距仍可能是偶然。按常用的统计方法粗略估算,这样的差距在每组 150 条的规模下,还没有达到通常认为“足够可靠”的程度。更稳妥的做法是:继续收集对话,或者把这次视为“有希望的信号”,再用新的一轮测试验证。

读结果时的几个检查点:

  • 先看主指标,再看护栏指标。 B版解决率升高,但点踩也升高,就不能算成功。
  • 按渠道拆开看。 整体持平,可能是网站聊天变好、WeChat 变差,互相抵消。
  • 抽样阅读对话。 数字只能告诉你“发生了什么”,翻几十条真实对话才能告诉你“为什么”。
  • 记录结论。 即使是失败的测试,也写下“改了什么、结果如何、猜测的原因”,避免半年后又重复测一遍。

常见陷阱

  1. 同时改多项。 前面说过,会让结论无法归因。
  2. 中途修改A版或B版。 测试期间发现了知识库里的错误,顺手改了,等于两个版本的条件都变了。要改的话,两个版本一起改,并在记录里注明。
  3. 忽略知识库和商品信息的变化。 测试期间若上新品或改了退换货政策,两组都会受影响,但受影响的程度可能不同。
  4. 只看“好评”。 愿意点评分的客户往往是体验最好或最差的人,不代表所有人。
  5. 把“解决”等同于“客户不再说话”。 客户沉默可能是放弃了。需要结合后续是否再次来问同一问题来判断。
  6. 在不同语言的客户之间比较。 简体中文、繁体中文、英文、马来文的客户习惯不同,同一个流程的表现也会不同。
  7. 一次测试后就永远不再看。 客户群和商品变了,原来的最优方案也可能失效,值得每个季度回头复查。
  8. 违反渠道规则。 在 WhatsApp、LINE 等渠道,主动发送消息有各自的限制和客户同意要求。测试不应以突破这些限制为代价。

在 AI SNS CHAT 里怎么做

先说明一点:AI SNS CHAT 目前没有提供一键把访客自动随机分到两个流程的设置,所以下面的做法是“手动搭建A/B”,思路是用两个相同基础的智能体来代表A版和B版。

1. 用“复制”创建B版。 在智能体中使用 Duplicate(复制),它会复制人设、模型和训练资料,但不会复制历史对话。这样B版与A版的起点完全一致,你只需修改要测试的那一项,比如人设里的开场方式。注意同一工作区里能创建的智能体数量取决于套餐:Free 为 1 个,Hobby 为 2 个,Standard 为 3 个,所以做A/B至少需要 Hobby;也可以按每个 10 美元的月费增加智能体。

2. 部署到可比较的入口。 在侧栏 Channels 里,把A版和B版分别部署到相似的网站聊天窗口、帮助页,或同一类渠道(如 WhatsApp、LINE、WeChat)的不同入口。渠道的完整列表见 /connections。

3. 用 Playground 做预检。 正式上线前,可以先在 Playground 里试问几十个典型问题,看新版本的答复是否符合预期。Playground 也提供 A/B 模型对比页面,适合比较不同模型的答复;模型在 Agent → Settings → AI 中选择,高级模型需要 Hobby 或更高套餐。

4. 在对话记录里收集数据。 打开 Activity → Chat logs,可以按条件筛选、批量标记、升级、标为已解决,导出数据,并查看客户的点赞/点踩。你可以导出两个版本的记录,在表格中统计主指标。Analytics 提供对话量、话题、问题历史和情绪分析,更高级的分析需要 Pro。

5. 处理转人工。 在 Helpdesk → Scheduling 设置值班后,转人工会自动分配给当班的人,所以人工承接条件在两个版本之间保持一致,不会成为干扰因素。

6. 回退与留痕。 每个智能体最多保留 40 个还原点(restore points),修改前先保存一个,结果不理想时即可回退。Workspace settings → Activity 会记录谁在何时改了什么,方便复盘。

更多功能说明请见 /features,套餐差异见 /pricing。

常见问题

AI SNS CHAT 能自动把访客随机分配到两个流程吗?

目前我们没有提供自动随机分流的开关。可行的做法是用 Duplicate 复制出B版智能体,再把两个版本部署到相似的入口,并保证同一时期运行。这样比按周轮换更公平,也更容易归因。

做一次可靠的测试需要多少条对话?

没有统一的固定数字,取决于两个版本预期的差距:差距越大,所需样本越少。对话量不大的店铺应只测影响明显的大改动,并事先定好结束条件,例如每组至少 150 条且运行满两周,再根据结果决定是否延长。

WhatsApp 或 Messenger 的流程应该用什么指标?

如果目标是降低人工负担,可用“无需转人工的解决率”,并以点踩比例作为护栏指标。如果是咨询型业务,则看留资率。关键是每个渠道各自选定一个主指标,不要把不同渠道的数据混在一起比较。

B版表现更差时可以安全回退吗?

可以。每个智能体最多保留 40 个还原点,修改前先保存一个,必要时恢复即可;而且因为B版是复制出来的,原来的A版本身并没有被改动,直接停止使用B版也行。回退后仍建议翻看几十条B版对话,弄清楚问题出在哪里。

#A/B测试#聊天流程#客服指标#跨境电商#AI客服

用 AI SNS CHAT 付诸实践

创建基于您自有内容训练的 AI 智能体,并连接到网站、LINE、WhatsApp 等渠道。免费开始,无需信用卡。