如何对 AI 聊天机器人的回答进行回归测试
更新于2026年7月26日
每一次知识编辑和提示词微调,都可能悄无声息地改变机器人对客户的说法。黄金问题能在访客发现之前捕获回归。
客服 AI 有一种软件团队会熟悉的失败模式:回归。你修正了一篇文章,收紧了一行提示词,更换了一个模型版本,于是一个机器人已经正确回答了数月的问题,悄无声息地开始给出不同的答案。没有人注意到,因为没有人在问。第一个发现回归的是客户,而他们的反馈会以流失信号的形式到达,而不是以缺陷工单的形式。
解决办法与软件行业几十年前找到的办法相同:测试套件。对于客服 AI,它被称为黄金问题,即一组保存下来的真实客户问题,附带已知正确的预期,并在每次可能改变回答的变更之后,对线上回答路径重新运行。它不是基准测试,也不是模型评估:它是针对你的特定机器人、你的特定知识的回归测试套件。
构建这套问题只需一小时。从真实对话中挑出十个最常被问到的问题,例如价格、退款、设置等等,并按照客户实际的措辞来表述。对每个问题决定其断言:有些问题有可检验的事实(“答案必须包含 29”),有些则只需要机器人自信地回答,而不升级转人工。然后再加入陷阱问题:机器人不应该知道的事情,例如你并不存在的传真号码、不存在的折扣,或竞争对手的功能。一个通过拒绝编造答案而通过的陷阱,是套件中最令人安心的绿色勾号。
在回归产生的时刻运行这套测试:编辑知识文章之后,任何系统提示词变更之后,切换模型或供应商之后,以及按计划定期运行,因为你的供应商也会悄悄更新其模型。测试运行必须经过访客所走的同一条有依据的回答路径,测试另一条代码路径毫无意义;并且绝不能写入真实对话。这些测试的供应商用量,仍然计入你的 AI 额度。
把失败当作待办事项,而不是定论。预期短语未命中,通常意味着文章的含义已经改变(修正文章),或者措辞发生了偏移(修正断言)。出现意外的转人工升级,意味着依据变薄了。一个通过编造答案而“通过”的陷阱,则是紧急情况:你的机器人对自身的自信超过了它的知识。每个失败都指明了它自己的修复方式,这正是让套件的价值不断累积的原因,而临时的抽查则永远做不到这一点。
ZChat 将其作为 AI 沙盒中的“答案测试”提供:保存的问题,可选的必须包含短语,一键通过实时的有依据路径重新运行,按问题持久保存通过/失败结果,不向对话中写入任何消息,并且供应商用量计入你的 AI 额度。它刻意不是自动化的提示词回滚,也不是供应商认证的质量保证,它就是回归测试套件,而抓住面向客户的意外的,正是回归测试套件这一部分。
黄金问题是机器人的回归测试套件:真实问题、已知正确的预期,并在每次知识或提示词变更后重新运行。
加入机器人应当拒绝回答的陷阱问题:一个因为没有编造而通过的陷阱,是套件中最有力的信号。
始终通过实时的有依据路径运行,绝不使用仅供测试的路径,并将每一个失败都视为一个有名称的待办事项。