Как провести регрессионное тестирование ответов ИИ-чат-бота
Обновлено 26 июля 2026 г.
Каждая правка базы знаний и каждая подстройка промпта может незаметно изменить то, что бот говорит клиентам. Эталонные вопросы ловят регрессию раньше, чем её найдёт посетитель.
У ИИ поддержки есть режим отказа, который команды разработки узнают сразу: регрессия. Вы исправили одну статью, ужесточили одну строку промпта, сменили одну версию модели — и вопрос, на который бот месяцами отвечал верно, незаметно начинает получать другой ответ. Никто не замечает, потому что никто не спрашивал. Первым регрессию находит клиент, и его жалоба приходит как сигнал оттока, а не как баг-репорт.
Решение то же, что программисты нашли десятилетия назад: набор тестов. Для ИИ поддержки это называется эталонными вопросами — сохранённый набор реальных вопросов клиентов с известными правильными ожиданиями, который перезапускается по живому пути ответа после каждого изменения, способного сдвинуть ответ. Это не бенчмарк и не оценка модели: это набор регрессионных тестов для вашего конкретного бота на ваших конкретных знаниях.
Составить набор — час работы. Возьмите десять самых частых вопросов из реальных диалогов — цены, возвраты, установка, всё остальное — в той форме, в какой их действительно формулируют клиенты. Для каждого решите, что проверять: у некоторых вопросов есть проверяемый факт («ответ должен содержать 29»), другим достаточно, чтобы бот уверенно ответил без эскалации. Затем добавьте ловушки: вопросы о том, чего бот знать не должен — номер факса, которого у вас нет, несуществующая скидка, функция конкурента. Ловушка, которая проходит, отказавшись что-либо выдумывать, — самая успокаивающая зелёная галочка в наборе.
Запускайте набор в моменты, когда рождаются регрессии: после правок статей базы знаний, после любого изменения системного промпта, после смены модели или провайдера и по расписанию, потому что провайдер тихо обновляет свои модели. Запуски должны идти по тому же обоснованному пути ответа, по которому приходят посетители, — тестирование другого пути ничего не проверяет, — и никогда не должны писать в реальные диалоги. Использование провайдера при этом всё равно засчитывается в вашу квоту ИИ.
Читайте сбои как задачи, а не как приговоры. Пропуск ожидаемой фразы обычно означает, что статья изменила смысл (исправьте статью) или формулировка уплыла (исправьте проверку). Неожиданная эскалация означает, что обоснование стало тоньше. Ловушка, которая начинает «проходить», выдумывая ответ, — это авария: бот стал увереннее, чем его знания. Каждый сбой называет собственное исправление — именно это заставляет набор накапливать ценность, тогда как выборочные проверки «на глаз» никогда этого не делают.
ZChat поставляет это как «Тесты ответов» в ИИ-песочнице: сохранённые вопросы с необязательными обязательными фразами, перезапуск в один клик по живому обоснованному пути, результат «пройден/не пройден», сохраняемый для каждого вопроса, никаких записей в диалоги, а использование провайдера засчитывается в квоту ИИ. Это намеренно не автоматический откат промптов и не сертифицированный провайдером QA — это регрессионный набор, а именно он ловит сюрприз, который увидит клиент.
Эталонные вопросы — это регрессионный набор для бота: реальные вопросы, известные правильные ожидания, перезапуск после каждого изменения знаний или промпта.
Включайте ловушечные вопросы, на которые бот должен отказаться отвечать: ловушка, которая проходит, не выдумывая, — самый сильный сигнал в наборе.
Запускайте по живому обоснованному пути, а не по пути только для тестов, и относитесь к каждому сбою как к именованной задаче.