Paano i-regression-test ang mga sagot ng AI chatbot mo
Na-update noong Hulyo 26, 2026
Maaaring tahimik na baguhin ng bawat pag-edit ng knowledge at pagbabago ng prompt ang sinasabi ng bot mo sa mga customer. Hinuhuli ng golden questions ang regression bago pa ito matuklasan ng bisita.
May failure mode ang support AI na makikilala ng mga software team: ang regression. Inayos mo ang isang artikulo, hinigpitan ang isang linya ng prompt, nagpalit ng isang bersyon ng model, at isang tanong na tamang nasagot ng bot sa loob ng ilang buwan ay tahimik nang nakakakuha ng ibang sagot. Walang nakapapansin, dahil walang nagtatanong. Ang unang makakatuklas ng regression ay customer, at ang kanilang ulat ay dumarating bilang signal ng churn, hindi bilang bug ticket.
Ang ayos ay ang parehong natuklasan ng software noong ilang dekada na ang nakalipas: isang test suite. Para sa support AI, tinatawag itong golden questions: isang naka-save na set ng totoong tanong ng customer na may kilalang tamang inaasahan, muling pinapatakbo laban sa live na landas ng pagsagot pagkatapos ng bawat pagbabagong maaaring gumalaw ng sagot. Hindi ito benchmark o model eval; isa itong regression suite para sa partikular mong bot sa partikular mong knowledge.
Tumatagal ng isang oras ang pagbuo ng set. Kunin ang sampung pinakamadalas itanong mula sa totoong transcript: presyo, refund, setup, lahat, nakasulat sa paraang tunay na isinusulat ng mga customer. Para sa bawat isa, magpasya sa assertion: ang ilang tanong ay may fact na maaaring suriin ('dapat naglalaman ang sagot ng 29'), ang iba ay kailangan lang na sumagot nang may kumpiyansa ang bot nang hindi nag-e-escalate. Pagkatapos, idagdag ang mga bitag na tanong: mga bagay na hindi dapat malaman ng bot mo, gaya ng fax number na wala ka, discount na hindi umiiral, o feature ng kakumpitensya. Ang bitag na pumapasa dahil tumatanggi itong mag-imbento ang pinakanakakapanatag na green check sa suite.
Patakbuhin ang suite sa mga sandaling ipinanganganak ang mga regression: pagkatapos mag-edit ng mga artikulo ng knowledge, pagkatapos ng anumang pagbabago sa system prompt, pagkatapos magpalit ng model o provider, at ayon sa iskedyul dahil tahimik ding ina-update ng provider mo ang kanila. Dapat dumaan ang mga pagpapatakbo sa parehong grounded na landas ng pagsagot na dinadaanan ng mga bisita; ang pagsubok sa ibang code path ay walang sinusubukan, at hindi dapat magsulat ang mga ito sa mga totoong usapan. Binibilang pa rin ang paggamit ng provider nila laban sa AI allowance mo.
Basahin ang mga pagkabigo bilang work item, hindi hatol. Ang nawalang inaasahang parirala ay kadalasang nangangahulugang nagbago ang kahulugan ng artikulo (ayusin ang artikulo) o lumihis ang pagkakasulat (ayusin ang assertion). Ang hindi inaasahang escalation ay nangangahulugang lumiit ang grounding. Ang bitag na nagsisimulang 'pumasa' sa pamamagitan ng pag-imbento ng sagot ay emergency: naging mas kumpiyansa ang bot mo kaysa sa knowledge nito. Pinangalanan ng bawat pagkabigo ang sarili nitong ayos, kaya lumalaki ang halaga ng suite habang ang ad-hoc na spot-check ay hindi kailanman lumalaki.
Ipinapadala ng ZChat ito bilang 'Answer tests' sa AI Sandbox: mga naka-save na tanong na may opsyonal na must-contain na parirala, muling pinapatakbo sa isang click sa pamamagitan ng live na grounded na landas, pass/fail na naka-save kada tanong, walang mensaheng isinusulat sa mga usapan, at binibilang ang paggamit ng provider laban sa AI allowance mo. Sadyang hindi ito automated prompt rollback o provider-certified na QA; ito ang regression suite, at ang regression suite ang bahaging nakahuhuli sa sorpresang nakikita ng customer.
Ang golden questions ay regression suite para sa bot mo: totoong tanong, kilalang tamang inaasahan, muling pinapatakbo pagkatapos ng bawat pagbabago sa knowledge o prompt.
Isama ang mga bitag na tanong na dapat tanggihan ng bot; ang bitag na pumapasa dahil hindi ito nag-iimbento ang pinakamalakas na signal sa suite.
Patakbuhin sa live na grounded na landas, hindi kailanman sa test-only na landas, at ituring ang bawat pagkabigo bilang pinangalanang work item.