當 AI 先回答時,如何衡量聊天的 CSAT

更新於 2026 年 8 月 2 日

每則對話只有一個評分,無法得知功勞屬於機器人還是真人。請在答案產生的地方評分,閱讀留言,並把每一個點踩都當作工作項目。

CSAT 是為一個由一位真人處理一張工單的世界所設計的,分數告訴您的是那位真人的表現。AI 優先的聊天打破了歸因:一則對話可能是 AI 即時回答、機器人失敗後由真人挽救,或者是機器人只是引入了一項真人工作。把這些平均成一個數字,您就得不到任何可行的資訊:一個 4.2 分,若混合了「AI 答得很好」與「AI 在真人出手前浪費了五分鐘」,就是兩個截然相反的故事,卻被歸檔在同一個小數點之下。

因此,要在答案層級而不只是對話層級衡量。對個別 AI 回覆的讚/踩,會告訴您哪些答案有效;而且由於每一則被評分的答案都可追溯到產生它的知識,它也會告訴您哪些文章需要修正。對話結束時的分數仍然重要,但它的任務改變了:它衡量的是整段旅程(整件事,包括任何轉接,是否解決了您的問題),而逐則答案的評分衡量的是機器。您兩者都需要,因為它們會各自獨立失敗:順暢的轉接可以挽救糟糕的機器人答案,而再好的機器人也無法挽救一位從未出現的真人。

留言框的價值高於分數,這也是跳過它成為業界最愛犯的錯誤的原因。單獨一個點踩只說「某件事失敗了」;而附上「這是舊的價格」的點踩,則是一次已完成的診斷。請讓留言為選填,因為必填欄位會殺死回覆率,但一定要提供,特別是在負面評分時。一句自由文字,常常就能省下一小時考古般地翻閱對話紀錄。

請尊重回覆率的現實:聊天 CSAT 問卷通常只會收到一小部分對話的回應,而且偏向非常滿意或非常憤怒的人。這種偏差不會讓資料變得無用,只會讓趨勢值得信賴,而絕對值值得懷疑。三週內從 85% 降到 75%,是真實的訊號,即使兩個數字都不是「真實」的滿意度。把您的絕對分數拿來和另一家公司比較,因為問卷時機、量表與流量都不同,那就像占星術一樣。

讓這一切值得收集的,是消化這些資料的循環。每週花十五分鐘檢視每一則被點踩的答案,並將每一則分類為「修正文章」或「新增轉接規則」,就能把評分從儀表板上的裝飾,轉化為會複利累積的答案品質;每修正一篇文章,那個失敗就永久地被攔下了。收集 CSAT 卻不執行這個循環的團隊,付出了衡量所帶來的問卷疲勞成本,卻沒有收穫任何改善。

在 ZChat 中,這一切是端到端串接好的:訪客可以在對話中直接評分 AI 的回答,對話結束時的問卷會收集一個分數加上選填的留言,而被評分的答案會出現在操作人員審查的地方,旁邊就是產生它的知識庫。但這個設計原則與工具無關:在答案產生的地方評分答案,在旅程結束的地方評分旅程,閱讀留言,並讓負面評分為下週的待辦清單撰寫內容。

逐則答案的評分用來診斷機器人;對話結束的分數用來評判整段旅程,兩者都要收集。

選填的留言,能把點踩從警報變成診斷。

信任趨勢,而非絕對值:回覆偏差使跨公司的 CSAT 比較毫無意義。