Cómo hacer pruebas de regresión a las respuestas de tu chatbot de IA

Actualizado el 26 de julio de 2026

Cada edición del conocimiento y cada ajuste del prompt pueden cambiar en silencio lo que tu bot dice a los clientes. Las preguntas de referencia detectan la regresión antes de que lo haga un visitante.

La IA de soporte tiene un modo de fallo que los equipos de software reconocerán: la regresión. Arreglas un artículo, afinas una línea del prompt o cambias una versión del modelo, y una pregunta que el bot respondía bien durante meses empieza a recibir en silencio otra respuesta. Nadie lo nota, porque nadie estaba preguntando. La primera persona en encontrar la regresión es un cliente, y su queja llega como señal de abandono, no como ticket de error.

La solución es la misma que el software encontró hace décadas: una suite de pruebas. Para la IA de soporte se llama preguntas de referencia: un conjunto guardado de preguntas reales de clientes con respuestas esperadas conocidas, que se vuelven a ejecutar sobre la ruta de respuesta en vivo después de cada cambio que pueda mover una respuesta. No es un benchmark ni una evaluación de modelo: es una suite de regresión para tu bot concreto, con tu conocimiento concreto.

Construir el conjunto lleva una hora. Extrae tus diez preguntas más frecuentes de las transcripciones reales —precios, devoluciones, configuración, todo— redactadas como las formulan realmente los clientes. Para cada una, decide la aserción: algunas preguntas tienen un hecho verificable (“la respuesta debe contener 29”), otras solo necesitan que el bot responda con seguridad sin escalar. Luego añade las preguntas trampa: cosas que tu bot NO debería saber, como un número de fax que no tienes, un descuento que no existe o una función de un competidor. Una trampa que se supera por negarse a inventar es la comprobación verde más tranquilizadora de la suite.

Ejecuta la suite en los momentos en que nacen las regresiones: después de editar artículos de conocimiento, después de cualquier cambio en el prompt del sistema, después de cambiar de modelo o de proveedor, y periódicamente, ya que tu proveedor actualiza el suyo en silencio. Las ejecuciones deben pasar por la misma ruta de respuesta fundamentada que siguen los visitantes (probar otra ruta de código no prueba nada) y nunca deben escribir en conversaciones reales. Su uso del proveedor sigue contando contra tu cuota de IA.

Lee los fallos como elementos de trabajo, no como veredictos. Una falta de frase esperada suele significar que el artículo cambió de significado (corrige el artículo) o que la redacción se desvió (corrige la aserción). Una escalación inesperada significa que la fundamentación se adelgazó. Una trampa que empieza a “pasar” inventando una respuesta es la emergencia: tu bot se volvió más seguro de sí mismo que su conocimiento. Cada fallo nombra su propia solución, y eso es lo que hace que la suite gane valor con el tiempo, algo que nunca consigue la revisión puntual improvisada.

ZChat lo incluye como “Pruebas de respuestas” en el sandbox de IA: preguntas guardadas con frases obligatorias opcionales, que se vuelven a ejecutar con un clic por la ruta fundamentada en vivo, con resultado de aprobado o suspendido guardado por pregunta, sin mensajes escritos en las conversaciones y con el uso del proveedor contado contra tu cuota de IA. Deliberadamente no es una reversión automática del prompt ni un control de calidad certificado por el proveedor: es la suite de regresión, y la suite de regresión es la parte que detecta la sorpresa que se lleva el cliente.

Las preguntas de referencia son una suite de regresión para tu bot: preguntas reales, respuestas esperadas conocidas y se vuelven a ejecutar tras cada cambio de conocimiento o de prompt.

Incluye preguntas trampa que el bot debería rechazar: una trampa que se supera por no inventar es la señal más fuerte de la suite.

Ejecuta a través de la ruta fundamentada en vivo, nunca por una ruta solo de pruebas, y trata cada fallo como un elemento de trabajo con nombre.