当 AI 先回答时如何衡量聊天中的 CSAT
更新于 2026年8月2日
每个会话只打一个分,掩盖了功劳到底属于机器人还是人工。应在回答发生的地方给回答打分,阅读评论,并把每一个差评都当作一项待办工作。
CSAT 是为一个人处理一张工单的时代设计的,分数反映的是那一位人工的表现。以 AI 为先的聊天打破了这种归因:一次会话可能是机器人瞬间给出的答案,也可能是机器人失误后由人工挽救,或者是机器人只是引入的人工工作。把这些全部平均成一个数字,就毫无可执行的意义——一个 4.2 分,混合了「AI 答得很准」与「AI 浪费了五分钟,才由人挽救」两种截然相反的情况,却被归在同一个小数点之下。
因此要在回答层面衡量,而不只是会话层面。对单条 AI 回复的点赞或点踩,能告诉你哪些回答有效,并且——因为每条被评价的回答都能追溯到产生它的知识——也能告诉你哪些文章需要修改。会话结束时的评分依然重要,但它的作用有所改变:它衡量的是整个过程(包括任何转人工在内,整件事是否解决了你的问题),而逐条回答的评分衡量的是机器。两者都需要,因为它们各自独立地失效:顺畅的转人工可以挽救糟糕的机器人回答,而再好的机器人也救不了一个从未出现的人工。
评论框比分数更有价值,而跳过它正是行业里最常见的错误。仅有一个点踩,说明「某处出错了」;而配上「这是旧的价格」的点踩,就是一份完整的诊断。评论应设为可选——强制填写的字段会拉低回复率——但一定要提供,尤其是在负面评价时。一句自由文本,往往就能省下一小时翻阅聊天记录的功夫。
要正视回复率的现实:聊天 CSAT 调查通常只能收到一小部分会话的反馈,而且偏向于非常满意或非常愤怒的人。这种偏差并不会让数据失去价值,只是让趋势可信、绝对值存疑。三周内从 85% 下降到 75%,即使两个数字都不是「真实」满意度,也是一个真实的信号。把你的绝对分数与另一家公司比较——调查时机、量表、流量都不同——毫无意义。
让这一切值得收集的,是消费这些数据的闭环。每周花十五分钟审阅每一条差评回答,将其归类为「修复文章」或「添加转人工规则」,就能把评分从仪表盘上的装饰,变成不断累积的回答质量——每修好一篇文章,都会永久减少一次同类失败。只收集 CSAT 却不运行这一闭环的团队,付出了调查疲劳的代价,却没有获得任何改进。
在 ZChat 中,这一切是端到端打通的:访客可以在对话中直接给 AI 回答打分,会话结束时的调查包含一个分数和一条可选评论,被评价的回答会与产生它的知识库一起,呈现给运营人员审阅。但设计原则与工具无关:在回答发生的地方给回答打分,在旅程结束时给旅程打分,阅读评论,让负面评价来写下下周的待办清单。
逐条回答评分用于诊断机器人;会话结束评分用于评判整体旅程——两者都要收集。
可选评论能把一个点踩从警报变成诊断。
相信趋势而非绝对值:回应偏差使跨公司的 CSAT 比较毫无意义。