Como fazer teste de regressão nas respostas do seu chatbot com IA

Atualizado em 26 de julho de 2026

Cada edição de conhecimento e ajuste de prompt pode mudar silenciosamente o que o seu bot diz aos clientes. Perguntas de referência pegam a regressão antes de um visitante pegar.

A IA de suporte tem um modo de falha que as equipes de software reconhecem: a regressão. Você corrige um artigo, aperta uma linha do prompt, troca a versão de um modelo, e uma pergunta que o bot respondia corretamente há meses começa, em silêncio, a receber outra resposta. Ninguém percebe, porque ninguém estava perguntando. A primeira pessoa a encontrar a regressão é um cliente, e a notificação dele chega como sinal de cancelamento, e não como chamado de bug.

A solução é a mesma que o software encontrou décadas atrás: uma suíte de testes. Para a IA de suporte, ela se chama perguntas de referência: um conjunto salvo de perguntas reais de clientes, com expectativas de respostas corretas conhecidas, executado de novo no caminho de resposta ao vivo após toda mudança que possa alterar uma resposta. Não é um benchmark, nem uma avaliação de modelo: é uma suíte de regressão para o seu bot específico, com o seu conhecimento específico.

Montar o conjunto leva uma hora. Pegue as dez perguntas mais feitas das transcrições reais (preços, reembolsos, configuração, o que for), formuladas da forma como os clientes de fato as formulam. Para cada uma, defina a asserção: algumas perguntas têm um fato verificável (“a resposta deve conter 29”), outras só precisam que o bot responda com confiança sem escalar. Depois acrescente as perguntas-armadilha: coisas que o seu bot NÃO deveria saber, um número de fax que você não tem, um desconto que não existe, um recurso de um concorrente. Uma armadilha que passa por se recusar a inventar é o sinal verde mais tranquilizador da suíte.

Execute a suíte nos momentos em que as regressões nascem: após editar artigos de conhecimento, após qualquer mudança no prompt do sistema, após trocar de modelo ou de provedor e de forma programada, já que o seu provedor pode atualizar o modelo sem avisar. As execuções precisam passar pelo mesmo caminho de resposta fundamentado que os visitantes usam (testar outro caminho não testa nada) e nunca devem gravar nas conversas reais. O uso do provedor ainda conta na sua cota de IA.

Trate as falhas como itens de trabalho, e não como veredictos. Uma falta de frase esperada costuma significar que o artigo mudou de sentido (corrija o artigo) ou que a formulação se desviou (corrija a asserção). Uma escalada inesperada significa que a fundamentação ficou mais fraca. Uma armadilha que começa a “passar” inventando uma resposta é a emergência: o seu bot ficou mais confiante do que o próprio conhecimento. Cada falha indica a sua própria correção, e é isso que faz a suíte acumular valor, enquanto a verificação pontual e improvisada nunca acumula.

A ZChat entrega isso como “Testes de respostas” no Sandbox de IA: perguntas salvas com frases obrigatórias opcionais, reexecutadas com um clique pelo caminho fundamentado ao vivo, com aprovação ou reprovação registrada por pergunta, sem gravar mensagens nas conversas, e com o uso do provedor contado na sua cota de IA. Ela deliberadamente não é um rollback automático de prompt nem um QA certificado por provedor: é a suíte de regressão, e a suíte de regressão é a parte que pega a surpresa que chega ao cliente.

Perguntas de referência são uma suíte de regressão para o seu bot: perguntas reais, expectativas de respostas corretas conhecidas, reexecutadas após toda mudança de conhecimento ou de prompt.

Inclua perguntas-armadilha que o bot deve recusar: uma armadilha que passa por não inventar é o sinal mais forte da suíte.

Execute pelo caminho fundamentado ao vivo, nunca por um caminho exclusivo de teste, e trate cada falha como um item de trabalho nomeado.