Как проверить бота в салоне: разбор 20 диалогов за вечер

Бота обычно оценивают по одной цифре — доле сообщений, на которые он ответил. Цифра растёт и когда он отвечает хорошо, и когда плохо, лишь бы отвечал, поэтому смотреть на неё бессмысленно.

Мы каждый день разбираем переписки собственного бота — с полным текстом диалога и данными по записи — и метод, который описан ниже, придумали не для статьи, а для себя. Он показывает, где именно машина теряет запись.

Столбец первый: где человек был обязателен

Есть темы, на которых правильный ответ машины — не ответ, а быстрая передача диалога живому человеку. По нашим разборам их шесть.

Конфликт и недовольство. Гость приехал по записи, а точка оказалась закрыта. Бот не пытался объясняться — сразу передал диалог с формулировкой «гость пришёл на бронь, но точка закрыта». Это ровно то поведение, которое нужно: машина не умеет извиняться так, чтобы человеку стало легче, и не может принять решение о компенсации.

Здоровье и противопоказания. В наших разборах бот по клиникам отвечал по прайсу из базы знаний и не уходил в рекомендации. Так и должно быть: показания, противопоказания, состояние кожи и совместимость процедур — вопрос к специалисту, даже когда ответ кажется очевидным.

Деньги и возвраты. Отдельный случай из разборов: гость спросил, применима ли акция к уже созданной записи. Мы намеренно оставили это человеку — потому что однозначного правила не было у нас самих, а бот, который придумывает правило на ходу, хуже бота, который зовёт администратора.

Нестандартный запрос. Гость попросил оформить две записи подряд на одно событие. Бот согласился, довёл диалог до имени и телефона — и упал в ошибку прямо перед оформлением. Гость написал: «качели бот устроил». Правило после этого простое: если сценарий выходит за границу того, что бот доводит до конца, он говорит об этом до сбора контактов, а не после.

Сложный перенос. Часть записей приходит из внешних платёжных ссылок и не попадает в данные бота. Перенести такую запись он не может физически — и обязан передать диалог, а не делать вид, что разбирается.

Повторное обращение после неудачи. Если в прошлый раз что-то сорвалось, второй заход бот вести не должен. Человек уже пишет с ожиданием проблемы, и любой шаблонный ответ читается как отписка.

Выпишите этот список для своего салона на бумаге — полчаса работы, которые снимают большую часть рисков.

Столбец второй: где хватило бы строчки в базе знаний

Этот столбец длиннее, и именно он экономит вам деньги.

В одной нашей недельной выборке из двенадцати переписок четыре передачи человеку случились на вопросах, ответ на которые должен просто лежать в базе: есть ли наценка в выходные, можно ли платить картой, нужна ли доплата за приборы. Администратор отвечал одной фразой. Это не безопасность — это переложенная на живого человека работа, за которую вы платите зарплату.

Выборка маленькая, и выводить из неё проценты нельзя. Но чтобы найти свои четыре из двенадцати, статистика и не нужна — достаточно прочитать переписки.

Что искать в плохих диалогах

Пока читаете, отмечайте четыре характерных сбоя. Все они — из наших собственных разборов, и все мы у себя чинили.

Бот молчит. Гость написал вечером накануне визита. Ответ ушёл через двадцать часов — через две минуты после начала самого визита. Формально бот ответил. Практически диалога не было.

Бот теряет контекст. В том же случае он объяснил, как вносится предоплата, — гостю, который оплатил месяцем раньше. Причина техническая: оплата прошла мимо данных бота. Для человека это выглядит как «меня не слушают».

Бот отвечает не по делу. На запрос вечернего времени бот выдал список ночных окон и ни одного вечернего. Гость перестал отвечать. Передачи не было вообще, и это худший исход: диалог не спасли ни бот, ни человек.

Бот обещает то, чего не сделает. После запроса отзыва гость предложил идею по оснащению. Бот ответил, что передаст администрации и зафиксирует пожелание. Ни передачи, ни записи не было — механизма для этого не существовало. Обещание действия в реальном мире без реального пути его выполнить — это баг, а не стиль речи.

Хорошая новость в том, что все четыре видны глазами за один вечер и ни один не требует аналитики.

Три замера, которые стоит сделать заодно

За сколько минут диалог доходит до сотрудника вечером и в выходной. Напишите боту сами в субботу и засеките.

Что видит сотрудник, когда открывает переписку. По нашей практике ему нужны пять вещей: причина передачи словами, а не кодом; вся переписка, а не последние два сообщения; данные записи — дата, время, услуга, мастер или зал, оплачено или нет; и то, что бот уже пообещал гостю. Последнее важнее, чем кажется: сотрудник должен увидеть обещание раньше, чем гость о нём напомнит.

Сходятся ли данные записи с тем, что говорит бот. У нас был случай, когда в подтверждении бот назвал не тот зал, хотя в базе запись с самого начала была привязана к правильному. Такие расхождения дороже любой ошибки в формулировке.

Что делать с результатом

Короткий столбец — темы для правила «человек обязателен». Длинный — заявки на дополнение базы знаний, и закрываются они обычно за один вечер.

Если после разбора окажется, что бот чаще мешает, чем помогает, — дело почти никогда не в самой идее автоматики, а в том, что ей не задали границ. Мы устроили передачу диалога так, чтобы администратор получал причину, всю переписку и данные записи одним экраном, — как это работает, показываем здесь.

Что клиенты пишут в ответ на напоминания и как не потерять их в переписке, разбираем отдельно: про ответы на напоминание и про продажи в переписке.

А если вопрос стоит шире — нужен ли вообще ещё один человек на переписку, — сравнили три варианта и их цену.