Как протестировать бота до того, как он начнёт отвечать покупателям, — вопрос дешевизны ошибки. Ошибка на тесте стоит десять минут правки промпта. Та же ошибка в боевом диалоге стоит клиента, а иногда и отзыва.
Короткий ответ: три круга. Сначала прогон на своих старых переписках без всякой отправки, потом тихий режим на живом потоке, где ответ видите только вы, и лишь потом включение. Ниже — что именно проверять на каждом круге.
Круг 1. Прогон на истории
Откройте последние двадцать-тридцать диалогов и выпишите первые сообщения покупателей как есть — с опечатками, без знаков препинания, обрывками. Это ваш набор для проверки, и он лучше любого придуманного.
Прогоните их через бота без отправки и читайте ответы с одним вопросом: отправил бы я это сам. Не «звучит ли прилично», а именно так. Всё, на что ответ «нет», — в список правок.
Что обычно вылезает на первом круге:
- бот называет срок или цену, которых нет в фактах;
- отвечает на приветствие отдельным сообщением и тратит на это первый ход;
- пишет длинно там, где нужно одно предложение;
- обещает «перезвоним» — при том что телефона у него нет.
Правки после первого круга почти всегда идут в блок фактов, а не в правила поведения. Это нормальный признак: если бот отвечает не то, чаще всего ему просто не сказали нужное. Переписывать тон стоит только тогда, когда факты уже полные, а ответы всё равно читаются чужими словами. Похожая логика описана в разборе автоответчика на Авито.
Круг 2. Набор сложных случаев
Отдельно от истории нужен список специально трудных сообщений. Их придётся придумать, потому что в спокойной выборке они редки, а в реальности встречаются постоянно.
Минимальный набор:
— одно слово: «Актуально?» — три сообщения подряд за десять секунд — вопрос о том, чего вы не делаете — «дорого» без продолжения — «а у соседа дешевле» — повтор одного и того же вопроса третий раз — «это бот?» — грубость — вопрос про документы, чек, гарантию — сообщение на латинице или с автозаменой — пустое сообщение или только фото
Правильные ответы здесь чаще всего короткие или отсутствуют. На «это бот?» — передача человеку. На грубость — передача. На вопрос о том, чего вы не делаете, — прямой отказ и, если уместно, что вы делаете вместо этого.
Проверяйте не только текст, но и поведение: замолчал ли бот после обещания позвать человека, склеил ли три сообщения в один ответ, не ответил ли на каждое отдельно.
Круг 3. Тихий режим на живом потоке
Это самый полезный этап и самый пропускаемый. Бот работает на реальных сообщениях, но ответ не уходит покупателю — он приходит вам.
Неделя такого режима даёт то, чего не даст никакая выборка: настоящие формулировки, настоящее распределение вопросов и настоящие всплески. Вы читаете предложенные ответы и отмечаете те, которые отправили бы. Когда доля «отправил бы» перестаёт расти от правок — можно включать.
Если технической возможности сделать тихий режим нет, работает более грубый вариант: включить бота на одном объявлении из десяти. Риск ограничен, а материал появляется. У нас бот отвечает вашими словами с обязательным периодом проверки на ваших диалогах — по той же причине: без прогона на реальном потоке настройка остаётся догадкой.
Что проверять в технике, а не в текстах
Тексты — половина работы. Вторая половина ломается тише и заметна позже.
Срок жизни токена доступа. Классический сценарий: всё работало три дня, на четвёртый бот замолчал. Проверяется принудительным обновлением токена и прогоном после него.
Повторная доставка события. Отправьте одно и то же событие дважды и убедитесь, что покупатель получил один ответ, а не два.
Всплеск. Пятнадцать сообщений за минуту. Смотрите, не отвалились ли лишние и не ушли ли ответы не в те диалоги.
Ночь и выходные. Проверять отдельно. Ночью ломается то же самое, но чинить некому до утра, а покупатели пишут: ответы ночью на Авито — заметная доля потока в большинстве категорий.
Задержка ответа. Мгновенный ответ выдаёт автомат. Убедитесь, что пауза есть и что она не превратилась в пять минут из-за очереди.
Как понять, что тест пройден
Не по ощущению, а по трём числам, которые можно посчитать вручную на пятидесяти диалогах:
- Доля ответов, которые вы отправили бы сами. Ориентир — почти все. Цифры для примера, но если каждый пятый ответ вы бы переписали, включать рано.
- Доля диалогов, где бот передал человека. Слишком высокая — фактов мало. Слишком низкая — бот отвечает там, где не должен.
- Доля диалогов, где покупатель переспросил. Переспрос — прямой признак, что ответ был мимо.
Дальше эти же числа становятся рабочими метриками. Смотреть их полезно вместе с обычной статистикой объявлений: рост обращений при неизменной доле переспросов означает, что бот выдерживает нагрузку.
Когда тестировать бессмысленно
Три случая, когда описанный порядок не поможет.
Нет истории переписок. Новый профиль без диалогов тестировать не на чем. Придётся начинать сразу в тихом режиме и держать его дольше — две-три недели вместо одной.
Условия меняются каждый день. Если цена и наличие пересматриваются постоянно, тест устаревает раньше, чем заканчивается. Сначала стабильные условия, потом бот.
Проверяет не тот человек. Продавец видит ошибки в фактах, но не видит, что ответ звучит холодно. Дайте те же двадцать ответов прочитать кому-то со стороны — расхождение обычно показательное. Тот же приём работает и с обычными шаблонами ответов.
Коротко
Как протестировать бота: прогнать на своих старых переписках без отправки, отдельно проверить набор трудных сообщений, неделю подержать в тихом режиме на живом потоке. Параллельно проверить технику — токены, дубли, всплеск, ночь и задержку ответа. Критерий готовности — доля ответов, которые вы отправили бы сами.
Если хотите пройти этот путь без своей разработки, у нас проверка на ваших диалогах входит в подключение. Три дня бесплатно — этого хватает, чтобы увидеть бота на собственном потоке.
Если решение под свой бизнес нужно, а разбираться самому некогда — напишите мне в Telegram: @artem_sergeevic. Я делаю такие сервисы на заказ: обсудим задачу и честно разберём, что в ней действительно нужно, а что можно не делать вовсе.