Come fare test di regressione sulle risposte del tuo chatbot AI

Aggiornato il 26 luglio 2026

Ogni modifica alla conoscenza e ogni ritocco al prompt può cambiare in silenzio ciò che il bot dice ai clienti. Le domande di riferimento catturano la regressione prima che lo faccia un visitatore.

L'AI di assistenza ha una modalità di fallimento che i team software riconosceranno: la regressione. Correggi un articolo, stringi una riga del prompt, cambi una versione del modello, e una domanda a cui il bot rispondeva correttamente da mesi comincia in silenzio a ricevere una risposta diversa. Nessuno se ne accorge, perché nessuno stava chiedendo. Il primo a scoprire la regressione è un cliente, e la sua segnalazione arriva come segnale di abbandono, non come ticket di bug.

La soluzione è la stessa che il software ha trovato decenni fa: una suite di test. Per l'AI di assistenza si chiamano domande di riferimento (golden questions): un insieme salvato di domande reali dei clienti con aspettative di risposta note come corrette, rieseguite sul percorso di risposta live dopo ogni modifica che potrebbe spostare una risposta. Non è un benchmark, né una valutazione del modello: è una suite di regressione per il tuo bot specifico sulla tua conoscenza specifica.

Costruire l'insieme richiede un'ora. Estrai le dieci domande più frequenti dalle trascrizioni reali (prezzi, rimborsi, configurazione, tutto il resto), formulate come le formulano davvero i clienti. Per ciascuna, decidi l'asserzione: alcune domande hanno un fatto verificabile (“la risposta deve contenere 29”), altre richiedono solo che il bot risponda con sicurezza senza escalare. Poi aggiungi le domande trappola: cose che il tuo bot NON dovrebbe sapere, un numero di fax che non hai, uno sconto che non esiste, una funzione di un concorrente. Una trappola che passa rifiutandosi di inventare è la spunta verde più rassicurante dell'intera suite.

Esegui la suite nei momenti in cui nascono le regressioni: dopo aver modificato gli articoli della conoscenza, dopo ogni modifica al prompt di sistema, dopo aver cambiato modello o fornitore, e periodicamente, perché il tuo fornitore aggiorna il proprio modello in silenzio. Le esecuzioni devono passare per lo stesso percorso di risposta radicato che usano i visitatori (testare un percorso di codice diverso non prova nulla) e non devono mai scrivere nelle conversazioni reali. Il loro utilizzo del fornitore conta comunque sulla tua quota AI.

Leggi i fallimenti come elementi di lavoro, non come verdetti. Una mancata corrispondenza con la frase attesa di solito significa che l'articolo ha cambiato significato (correggi l'articolo) oppure che la formulazione è scivolata (correggi l'asserzione). Un'escalation inattesa significa che il radicamento si è assottigliato. Una trappola che comincia a “passare” inventando una risposta è l'emergenza: il tuo bot è diventato più sicuro della sua conoscenza. Ogni fallimento indica la propria correzione, ed è ciò che fa crescere il valore della suite nel tempo, mentre il controllo a campione improvvisato non lo fa mai.

ZChat offre questo come “Test delle risposte” nell'AI Sandbox: domande salvate con frasi obbligatorie opzionali, rieseguite con un clic sul percorso radicato live, esito superato o fallito memorizzato per ogni domanda, nessun messaggio scritto nelle conversazioni e utilizzo del fornitore conteggiato sulla tua quota AI. Non è deliberatamente un rollback automatico dei prompt né un QA certificato dal fornitore: è la suite di regressione, e la suite di regressione è la parte che intercetta la sorpresa che un cliente vedrebbe.

Le domande di riferimento sono una suite di regressione per il tuo bot: domande reali, aspettative note come corrette, rieseguite dopo ogni modifica alla conoscenza o al prompt.

Includi domande trappola a cui il bot dovrebbe rifiutarsi di rispondere: una trappola che passa senza inventare è il segnale più forte della suite.

Esegui sul percorso radicato live, mai su un percorso riservato ai test, e tratta ogni fallimento come un elemento di lavoro identificato.