Как протестировать ИИ-продавца до запуска: чек-лист из 10 диалогов
Перед запуском ИИ-продавца недостаточно задать ему один удобный вопрос и убедиться, что ответ выглядит хорошо. Нужна серия тестов, которая проверяет разные ситуации: обычный запрос, неизвестные данные, отказ клиента, просьбу подключить человека и момент создания заявки. Такой тест помогает увидеть слабые места до того, как с ними столкнётся реальный клиент.
В Omnexa можно тестировать сценарий прямо в рабочем кабинете: вы пишете от лица клиента, ИИ отвечает на выбранной для сценария модели, а затем вы меняете промпт и повторяете проверку. Отдельную реплику можно перегенерировать, вручную отредактировать и продолжить диалог с нужной точки. Это позволяет проверять не только красивую первую фразу, но и всю логику разговора.
Почему одного успешного диалога недостаточно
Самый простой тест обычно проходит хорошо: предприниматель задаёт ожидаемый вопрос, ИИ находит нужный ответ и корректно продолжает разговор. Но реальные клиенты формулируют мысли иначе, отказываются отвечать на вопросы, перескакивают между темами и спрашивают то, чего нет в инструкции.
Поэтому тестировать нужно не «умеет ли ИИ отвечать», а четыре отдельные вещи:
- знает ли он подтверждённые факты;
- соблюдает ли правила разговора;
- не придумывает ли отсутствующие данные;
- вовремя ли передаёт сложный случай сотруднику.
Если проверять только один удачный путь, можно не заметить, что в соседней ветке сценарий задаёт повторный вопрос, обещает неподтверждённый срок или слишком долго удерживает клиента в автоматическом диалоге.
Что подготовить перед тестом
До первого тестового сообщения полезно зафиксировать правила, по которым вы будете оценивать ответ.
Промпт и актуальные данные
ИИ должен понимать свою роль, задачу первой линии и границы допустимых ответов. В сценарии должны быть только актуальные факты. Если цена, наличие, срок или условия меняются, нельзя рассчитывать на догадку модели.
Правило создания заявки
Определите, в какой момент обращение становится заявкой. Например, когда понятна цель клиента и получен контакт, либо когда запрос требует действия менеджера. Без такого правила сложно проверить, завершает ли ИИ первую линию в нужный момент.
Обязательные вопросы
Составьте минимальный список данных, без которых следующий шаг невозможен. Он должен быть коротким: каждый вопрос обязан влиять на дальнейшую работу.
Условия передачи сотруднику
Заранее определите, когда ИИ прекращает автоматический сценарий. Типовые причины: клиент просит человека, ответа нет в подтверждённых данных, нужны индивидуальные условия или требуется профессиональная оценка.
10 тестовых диалогов перед запуском
Тест 1. Самый частый вопрос клиента
Начните с вопроса, который команда видит ежедневно. Это проверка базовой точности.
Смотрите не только на то, верен ли факт. Ответ должен быть понятным и вести к следующему шагу. Если клиент спросил об услуге, а ИИ выдал длинное описание компании, сценарий уже можно сделать лучше.
Тест 2. Тот же вопрос другими словами
Клиенты не повторяют формулировки из вашей инструкции. Задайте ту же мысль разговорно, с сокращениями или в другом порядке.
Если смысл один и тот же, логика ответа должна сохраняться. При этом не нужно требовать дословного совпадения формулировок — важны факты и следующий шаг.
Тест 3. Клиент сразу хочет купить или заказать
Напишите так, будто решение уже принято: «Хочу заказать», «Готов обсудить», «Куда оставить данные?»
Проверьте, не заставляет ли ИИ клиента проходить ненужную цепочку вопросов. Если для передачи достаточно контакта и одного параметра, не нужно возвращать человека к началу сценария.
Тест 4. Клиент не хочет оставлять контакт
Откажитесь сообщать телефон или другой контакт.
Хороший сценарий не давит на клиента и не повторяет одну и ту же просьбу бесконечно. ИИ должен продолжить настолько, насколько это возможно по правилам бизнеса, либо корректно объяснить, зачем данные нужны для следующего шага.
Тест 5. Вопрос, ответа на который нет
Это один из главных тестов безопасности сценария. Спросите о цене, наличии, сроке или индивидуальном условии, которого нет в актуальных данных.
Правильный результат — ИИ не придумывает правдоподобный ответ. Он сообщает, что вопрос требует уточнения, собирает необходимые данные и передаёт его сотруднику, если это предусмотрено сценарием.
Тест 6. Просьба позвать человека
Напишите: «Хочу поговорить с менеджером» или аналогичную фразу.
Проверьте, срабатывает ли передача сотруднику. Не стоит заставлять клиента сначала отвечать ещё на пять вопросов только потому, что так выглядит «полный» сценарий.
Тест 7. Нестандартный запрос
Придумайте ситуацию, которая не описана в типовом процессе: необычную конфигурацию, исключение из правил, нестандартное сочетание услуг.
Задача теста — убедиться, что ИИ понимает границу своих полномочий. Он может собрать исходные данные, но не должен выдавать индивидуальное решение без подтверждения.
Тест 8. Попытка увести ИИ от темы
Задайте посторонний вопрос или попытайтесь изменить роль собеседника.
В Omnexa такой тест прямо рекомендуется перед запуском: он показывает, возвращается ли ИИ к рабочему сценарию. Первая линия должна оставаться в рамках задачи бизнеса и не превращаться в универсальный чат на любые темы.
Тест 9. Клиент уже сообщил нужные данные
Напишите сообщение, в котором сразу есть услуга, город и контакт. Затем посмотрите, не начинает ли ИИ спрашивать всё это повторно.
Повторные вопросы — частая причина раздражения. Если информация уже есть в диалоге, сценарий должен использовать её и двигаться дальше.
Тест 10. Полный путь до заявки
Последний тест должен пройти всю цепочку: обращение → уточнение → подтверждённый ответ → сбор минимальных данных → создание заявки → передача сотруднику, если он нужен.
После теста ответьте на три вопроса:
1. Заявка создана в правильный момент? 2. Менеджеру понятно, что хочет клиент? 3. Клиенту не придётся рассказывать всё заново?
Как работать с неудачным ответом
Не каждый слабый ответ означает, что нужно переписывать весь промпт.
В Omnexa тестовую реплику можно перегенерировать на том же месте. Если второй вариант логически правильный, возможно, проблема была в одной формулировке. Если ошибка повторяется, нужно искать причину в правилах сценария.
Полезна и ручная правка ответа. Вы можете исправить реплику ИИ и продолжить диалог с этой точки. Так удобно проверять следующую ветку без необходимости каждый раз начинать с первого сообщения.
Когда действительно нужно менять промпт
Промпт стоит корректировать, если проблема системная:
- ИИ регулярно задаёт лишние вопросы;
- повторяет уже известные данные;
- отвечает на отсутствующие факты;
- не понимает, когда нужно создать заявку;
- не передаёт разговор сотруднику;
- две ветки сценария противоречат друг другу.
Менять лучше одно правило за раз. Тогда понятно, какая именно правка повлияла на поведение.
Как провести повторный тест
После изменения промпта в Omnexa тестовый диалог можно очистить и начать заново.
Полезная последовательность такая:
1. Повторите тот диалог, где возникла ошибка. 2. Проверьте, исчезла ли проблема. 3. Пройдите одну-две соседние ветки. 4. Убедитесь, что исправление не создало новую ошибку. 5. Только после этого переходите к следующему изменению.
Так тестирование превращается в управляемый процесс, а не в случайное редактирование формулировок.
Как оценивать результат теста
У каждой проверки должен быть понятный критерий. Например:
- факты совпадают с актуальными данными;
- отсутствующие данные не придумываются;
- клиенту задают только нужные вопросы;
- передача человеку срабатывает в оговорённых случаях;
- заявка создаётся по заданному правилу;
- контекст сохраняется для дальнейшей работы.
Не оценивайте сценарий только по тому, насколько «красиво» написана реплика. Удачная формулировка полезна, но важнее стабильная логика.
Чек-лист перед запуском
Перед подключением реальных обращений проверьте:
- частый типовой вопрос;
- ту же тему другой формулировкой;
- прямую готовность клиента к следующему шагу;
- отказ оставить контакт;
- вопрос без подтверждённого ответа;
- просьбу подключить сотрудника;
- нестандартную ситуацию;
- попытку увести ИИ от темы;
- сообщение, где нужные данные уже указаны;
- полный путь до создания заявки.
После каждого изменения повторите проблемный тест. Когда ответы устраивают, сценарий можно назначать на подключённые каналы и уже затем следить за реальными диалогами.
Тестирование не гарантирует, что в работе никогда не встретится новый случай. Его задача практичнее: найти типовые ошибки до запуска, сделать правила однозначнее и заранее определить границу между ИИ и сотрудником.
