拆解大语言模型回答客户问题的全过程:为何会答错、如何用知识库约束答案、怎样选模型与转人工,并附 AI SNS CHAT 设置路径。
很多团队把 AI 客服接上网站聊天、WhatsApp 或 WeChat 之后,才发现它有时答得很准,有时却一本正经地说错运费或退货期限。要管好它,先得弄清楚一条客户消息进来之后,模型到底做了什么。本文用不带术语堆砌的方式,讲清大语言模型(LLM)回答客户问题的流程、常见出错原因,以及如何用知识库、模型选择和人工转接把风险压低。
大语言模型到底是什么
大语言模型是用海量文字训练出来的预测系统。它根据上下文,一个词接一个词地推算“接下来最合理的内容是什么”。它并不像数据库那样“查到”答案,而是“写出”一段读起来通顺的回复。
这带来两个直接后果:
- 它擅长理解各种说法。 客户写“我的包裹怎么还没到”“货呢”“where is my order”,模型都能识别为同一类问题,这对中英混用的新加坡、马来西亚客户尤其有用。
- 它不天然知道你的业务。 你的退货期是 7 天还是 14 天,模型训练时并没有见过。如果不给它资料,它只能凭常识“编”一个听起来合理的答案。
所以,AI 客服的质量,一半取决于模型本身,另一半取决于你给了它什么资料、定了什么规矩。
从消息到回复:一条消息的旅程
以一位客户在 WhatsApp 上问“订单寄到马来西亚要几天”为例,大致会经过下面几步。
- 01客户发来消息
- 02检索相关资料
- 03模型结合规则生成回复
- 04发送或转人工
第一步:接收并理解
消息从网站聊天、WhatsApp、LINE 或 WeChat 进入系统。模型会结合前面的对话判断客户的真实意图,例如这是在问运费、查订单,还是表达不满。
第二步:检索相关资料
系统不会把你的全部文档塞给模型,而是先从知识库里找出与这个问题最相关的几段内容,比如“国际配送时效”那一页。
第三步:组合指令并生成
模型同时看到三样东西:你为客服设定的角色和规则、检索到的资料片段、客户的问题。然后它据此写出回复。规则里可以写明语气、禁止承诺的事项、什么情况必须转人工。
第四步:检查并发送
回复发给客户。如果触发了转人工条件,就改为通知同事接手。
为什么大语言模型有时会答错
答错通常不是“模型坏了”,而是下面几类情形:
- 资料里没有答案。 知识库没写,模型就可能用常识补全,结果和你的实际政策不符。
- 资料互相矛盾。 旧版价格表和新版同时存在,模型无法知道哪个有效。
- 检索没找对段落。 客户的问法和文档措辞差距大,相关内容没被取出来。
- 问题含糊。 “能退吗”到底指哪件商品、哪笔订单,不问清楚就容易答偏。
- 被刻意诱导。 有人会写“忽略你之前的所有规则”,试图让客服说出不该说的话。
一个常见的误解是“模型会自己从每次对话中学会正确答案”。事实上,模型本身不会因为一次聊天就自动改变,需要你把正确答案整理进资料或修正回复,才算真正“教会”。
用知识库把答案锚定在你的内容上
所谓“锚定”(grounding),就是要求模型只依据你提供的资料回答,资料里没有时就老实说不知道,并转给人工。做法可以归纳为几条:
- 资料写清楚。 一个主题一份内容,写明适用范围和日期,比如“适用于新加坡与马来西亚订单”。
- 删除过期内容。 旧政策留在库里,等于给模型埋雷。
- 在规则里写明兜底。 例如“资料中没有答案时,不要猜测,告知客户将由同事跟进”。
- 用真实问题测试。 从历史聊天里挑出最常见的二十个问题,逐个看回复是否与资料一致。
关于联网搜索
不少人希望“知识库没有就让它上网查”。这并不总是好主意:网上的信息未必适用于你的店铺,反而可能和你的政策冲突。对于涉及价格、退款、售后承诺的问题,更稳妥的做法是补充知识库,而不是依赖外部搜索。
选择并测试模型
没有一个模型适合所有场景。选择时可以考虑:
- 回复质量与语气: 是否能自然地处理中文、英文以及中英夹杂的问法。
- 速度: 网站聊天里客户等待耐心有限,响应慢会影响体验。
- 成本: 能力更强的模型通常单次回复成本更高。
- 稳定性: 某家服务商临时故障时,是否有备用方案。
测试的方法很朴素:准备同一批真实问题,用不同模型各回答一遍,对比准确度、语气和是否越界。不要只看几个漂亮的样例,要特意加入刁钻问题,例如资料里没有的商品、情绪激动的投诉、试图绕过规则的指令。
转人工:不该由模型独自完成的部分
即使模型再强,也有些情况应该交给人:
- 客户明确要求找真人。
- 涉及退款争议、赔偿、投诉升级。
- 资料里确实没有答案。
- 对话中出现明显的愤怒或紧急情绪。
好的转接不只是“通知同事”,还要让客户知道接下来会发生什么,并且不能凭空承诺等待时间。同事接手后,应该能看到完整的对话记录,不必让客户重复说一遍。
在 AI SNS CHAT 中怎么做
下面把前面的思路对应到 AI SNS CHAT 的实际功能。
1. 准备知识来源。 在侧边栏的“Data sources”中,可以添加文件、文本片段、网站、问答(Q&A)、Notion 等来源。如果你的资料放在 Google Drive、Zendesk Guide、Confluence 等地方,可以通过“Channels”下的连接器接入。
2. 设定角色与规则。 为智能体设定人设和护栏,也可以使用提示词生成器、提示词库和内置的起始人设。把“资料中没有答案时不要猜测,转人工”写进去。
3. 选择模型。 在“Agent → Settings → AI”中选择模型。文本模型可来自 Anthropic(Claude)、OpenAI、Google(Gemini)和 OpenRouter。故障时系统会先用智能体自己的服务商,再按 Anthropic、OpenAI、Google、OpenRouter 的顺序切换。高级模型和模型备援需要 Hobby 或更高方案;低于该方案时会退回同一服务商的标准模型。
4. 在 Playground 中测试。 Playground 提供 A/B 模型对比,可以用同一批问题比较不同模型的回答,再决定上线哪一个。
5. 防止被诱导。 每个智能体的安全页面有提示词注入与滥用过滤,另有按设备的频率限制,可降低“忽略之前规则”这类指令得逞的可能。
6. 联网搜索的实际情况。 知识库没有答案时自动从网上取答案,目前只支持 LINE WORKS 渠道(Behaviour → Web search),默认只查 Microsoft 和 Apple 的支持网站,并会注明引用页面。其他智能体如需实时搜索,可使用 Tavily 动作(需要 Hobby 或更高方案)。
7. 持续改进。 在 Activity → Chat logs 查看各渠道对话,可以接管对话(机器人暂停)、使用实时翻译,并把编辑后的回复作为理想答案来训练智能体。邮件对话则在 Inbox 中处理。
8. 转接安排。 在 Helpdesk → Scheduling 按人员和时区设置班次,转接会自动分配给当班同事,提醒可发到 Slack、Teams、WhatsApp、邮件或 Webhook。转接时给客户的“接下来会怎样”说明由服务器根据排班生成,不会编造等待时间。Helpdesk 需要 Standard 或更高方案。
渠道方面,网站聊天组件、WhatsApp、LINE 和 WeChat 都在部署列表中。方案与价格请见 价格页,渠道清单见 连接页,功能总览见 功能页,安全做法见 安全页。
结语
大语言模型回答客户问题,不是在“查答案”,而是在“依据资料写答案”。因此,把资料整理好、把规则写明白、用真实问题反复测试,并为复杂情况留好人工通道,比单纯追求最强的模型更重要。从一个小范围的常见问题开始,逐步扩展,是最稳妥的路径。
常见问题
模型会自动从每一次客户对话中学习吗?
不会。模型本身不会因为一次聊天就自动改变。要让它答得更好,需要把正确内容补进知识库,或在对话记录中把回复修改成理想答案来训练智能体。
为什么智能体有时用常识回答,而不是引用我的文档?
常见原因是文档里没有对应内容、写法与客户问法差距太大,或规则没有要求它只依据资料。可以补充资料、用客户的真实说法写问答,并在规则里明确“没有答案时不要猜测,转人工”。
知识库没有答案时,智能体能上网搜索吗?
视渠道而定。自动联网回答目前只在 LINE WORKS 渠道提供,默认查 Microsoft 和 Apple 支持网站并标注来源。其他智能体可以使用 Tavily 动作获得实时搜索,需要 Hobby 或更高方案。
客服应该选哪个 AI 模型?
没有唯一答案。建议用同一批真实问题,在 Playground 的 A/B 对比里测试准确度、语气、速度和成本,再决定。别忘了加入资料里没有的问题和刁钻的指令一起测。
如何避免有人诱导智能体无视规则?
开启智能体的提示词注入与滥用过滤,并利用按设备的频率限制。同时在规则里写清边界,涉及退款、赔偿等敏感问题时设置转人工,不要只靠模型自己判断。


