如何對 AI 聊天機器人的答案進行迴歸測試

更新於 2026 年 7 月 26 日

每一次知識編輯與提示詞調整,都可能悄悄改變您的機器人告訴客戶的內容。黃金問題會在訪客發現之前,先抓出迴歸。

客服 AI 有一種軟體團隊會認得的失敗模式:迴歸。您修正了一篇文章、收緊了一行提示詞、換了一個模型版本,然後一個機器人幾個月來都答對的問題,悄悄開始得到不同的答案。沒有人注意到,因為沒有人在問。第一個發現迴歸的是客戶,而他們的回報會以流失訊號的形式到達,而不是以錯誤工單的形式。

修正方法與軟體界幾十年前就找到的相同:一套測試套件。對客服 AI 而言,它被稱為黃金問題:一組已儲存的真實客戶問題,並附上已知正確的預期結果,在每一次可能改變答案的變更之後,對即時的回答路徑重新執行。這不是基準測試,也不是模型評估,而是針對您特定機器人與特定知識的迴歸套件。

建立這組問題只需要一小時。從真實對話中拉出您最常被問到的十個問題,例如價格、退款、設定等,並以客戶實際的措辭來呈現。對每一題決定其斷言:有些問題有可以檢查的事實(「答案必須包含 29」),另一些只需要機器人自信地回答而不升級。接著加入陷阱問題:那些您的機器人不應該知道的事,例如您沒有的傳真號碼、不存在的折扣,或競爭對手的功能。一個因為拒絕編造而通過的陷阱,是整套測試中最令人安心的綠色勾號。

在迴歸誕生的時刻執行這套測試:編輯知識文章之後、任何系統提示詞變更之後、切換模型或服務商之後,以及定期執行,因為您的服務商可能會悄悄更新他們的模型。執行必須經過訪客所用的同一條有依據的回答路徑;測試不同的程式碼路徑等於什麼都沒測試,而且絕不能寫入真實的對話。這些執行所使用的服務商用量,仍然會計入您的 AI 額度。

把失敗當作工作項目來看,而不是判決。預期片語遺失,通常代表文章的意義已經改變(修正文章),或措辭已經漂移(修正斷言)。非預期的升級,表示依據性變薄了。而一個陷阱開始「通過」,是因為它編造了答案,這就是緊急狀況:您的機器人變得比它的知識更篤定。每一個失敗都會指出自己的修正方法,這正是此套件的價值會不斷累積的原因,而臨時抽查則永遠做不到這一點。

ZChat 將此功能以「答案測試」的形式,內建於 AI 沙盒中:已儲存的問題,可選擇性地設定必須包含的片語,一鍵透過即時的有依據路徑重新執行,每個問題的通過/失敗結果都會被保存,不會寫入對話,且服務商用量會計入您的 AI 額度。它刻意不是自動化的提示詞回滾,也不是服務商認證的品質保證;它就是迴歸套件,而迴歸套件正是能抓出面向客戶的意外的那一部分。

黃金問題是機器人的迴歸套件:真實的問題、已知正確的預期,在每次知識或提示詞變更後重新執行。

包含機器人應該拒絕的陷阱問題;一個因為沒有編造而通過的陷阱,是整套測試中最強的訊號。

透過即時的有依據路徑執行,絕不使用僅供測試的路徑,並將每一次失敗都視為有名稱的工作項目。