So führen Sie einen Regressionstest für die Antworten Ihres KI-Chatbots durch
Aktualisiert am 26. Juli 2026
Jede Wissensänderung und jede Prompt-Anpassung kann stillschweigend verändern, was Ihr Bot Kunden erzählt. Goldene Fragen erkennen die Regression, bevor es ein Besucher tut.
Support-KI hat einen Fehlerfall, den Softwareteams wiedererkennen: die Regression. Sie korrigieren einen Artikel, verschärfen eine Prompt-Zeile oder wechseln eine Modellversion, und eine Frage, die der Bot monatelang richtig beantwortet hat, bekommt stillschweigend eine andere Antwort. Niemand bemerkt es, weil niemand danach gefragt hat. Der erste Mensch, der die Regression findet, ist ein Kunde, und seine Meldung kommt als Abwanderungssignal an, nicht als Fehlerticket.
Die Lösung ist dieselbe, die die Softwareentwicklung vor Jahrzehnten gefunden hat: eine Testsuite. Für Support-KI heißt sie goldene Fragen: eine gespeicherte Menge echter Kundenfragen mit bekannten guten Erwartungen, die nach jeder Änderung, die eine Antwort verschieben könnte, auf dem Live-Antwortpfad erneut ausgeführt wird. Kein Benchmark und keine Modellevaluierung, sondern eine Regressionssuite für Ihren konkreten Bot mit Ihrem konkreten Wissen.
Der Aufbau der Menge dauert eine Stunde. Ziehen Sie Ihre zehn meistgestellten Fragen aus echten Verläufen, zu Preisen, Erstattungen, Einrichtung und allem anderen, und formulieren Sie sie so, wie Kunden sie tatsächlich formulieren. Legen Sie für jede die Prüfung fest. Manche Fragen haben einen überprüfbaren Fakt („die Antwort muss 29 enthalten“), andere brauchen nur, dass der Bot selbstsicher antwortet, ohne zu eskalieren. Fügen Sie dann die Fallen hinzu: Dinge, die Ihr Bot NICHT wissen sollte, etwa eine Faxnummer, die Sie nicht haben, einen Rabatt, den es nicht gibt, oder eine Funktion eines Wettbewerbers. Eine Falle, die besteht, weil der Bot nichts erfindet, ist das beruhigendste grüne Häkchen der ganzen Suite.
Führen Sie die Suite in den Momenten aus, in denen Regressionen entstehen: nach der Bearbeitung von Wissensartikeln, nach jeder Änderung am Systemprompt, nach dem Wechsel von Modell oder Anbieter und regelmäßig, weil Ihr Anbieter seine Modelle stillschweigend aktualisiert. Die Läufe müssen über denselben verankerten Antwortpfad laufen, den Besucher nutzen. Ein anderer Codepfad testet nichts. Sie dürfen niemals in echte Gespräche schreiben. Ihre Nutzung beim Anbieter zählt trotzdem auf Ihr KI-Kontingent.
Lesen Sie Fehlschläge als Arbeitsaufträge, nicht als Urteile. Eine verfehlte erwartete Formulierung bedeutet meist, dass sich die Bedeutung des Artikels geändert hat (dann den Artikel korrigieren) oder dass sich die Formulierung verschoben hat (dann die Prüfung anpassen). Eine unerwartete Eskalation bedeutet, dass die Verankerung dünner geworden ist. Eine Falle, die „besteht“, indem der Bot etwas erfindet, ist der Notfall: Ihr Bot ist selbstsicherer geworden, als sein Wissen erlaubt. Jeder Fehlschlag nennt seine eigene Lösung, und genau das lässt die Suite an Wert gewinnen, während gelegentliche Stichproben nie an Wert gewinnen.
ZChat liefert das als „Antworttests“ im KI-Sandbox-Bereich: gespeicherte Fragen mit optionalen Pflichtformulierungen, die per Klick über den verankerten Live-Pfad erneut laufen, Bestanden/Nicht-bestanden pro Frage gespeichert, keine Nachrichten in Gesprächen geschrieben und Nutzung beim Anbieter auf Ihr KI-Kontingent angerechnet. Bewusst ist es weder automatisiertes Zurücksetzen von Prompts noch vom Anbieter zertifizierte QS. Es ist die Regressionssuite, und die Regressionssuite ist der Teil, der die Überraschung für den Kunden abfängt.
Goldene Fragen sind eine Regressionssuite für Ihren Bot: echte Fragen, bekannte gute Erwartungen, nach jeder Wissens- oder Prompt-Änderung erneut ausgeführt.
Nehmen Sie Fallenfragen auf, die der Bot ablehnen sollte. Eine Falle, die besteht, weil nichts erfunden wird, ist das stärkste Signal der Suite.
Führen Sie die Tests über den verankerten Live-Pfad aus, nie über einen reinen Testpfad, und behandeln Sie jeden Fehlschlag als benannten Arbeitsauftrag.