Почему провалился ваш прошлый чат-бот, и дело не в модели
Большинство плохих ботов мерили долей закрытых без человека обращений, а такая метрика вознаграждает бота именно за отказ звать оператора.
Метрика и создала этот опыт
Большинство дашбордов по чат-ботам начинается с доли обращений, закрытых без человека.
Перечитайте это определение со стороны клиента. Каждая передача оператору идёт в минус. Каждый отказ передать идёт в плюс. Клиент, который сдался и закрыл окно, набирает столько же очков, сколько клиент, которому помогли.
Система, оптимизированная под это число, учится водить людей по кругу из переформулированных вопросов и предложенных статей. Это не тонкое расхождение целей. Это в точности тот механизм, который описывают, когда говорят, что ненавидят чат-ботов, и он был заложен намеренно тем, кто выбрал метрику.
Ещё три вещи, которые скорее всего были правдой
| Что сломалось | Как это выглядело для клиента | Чем чинится |
|---|---|---|
| Поставлен отвечать на всё | Уверенные неверные ответы в краевых случаях | Определением того, на что ему можно отвечать |
| Нет доступа к вашим системам | Пересказ раздела вопросов и ответов | Чтением из заказов, склада, биллинга, календаря |
| Переписки никто не читал | Один и тот же отказ каждую неделю целый год | Один человек, один час, раз в неделю |
Вторая строка тихо определяет всё остальное. Автоматика, не подключённая ни к чему, способна только пересказывать опубликованное, поэтому конкурирует с вашим же поиском по сайту и проигрывает: клиент прочитал эту страницу до того, как открыл чат.
Вопросы, которые порождают обращения, конкретны и личны. Где мой заказ. Это ещё доступно. За что с меня списали эту сумму. Можно ли перенести запись. Ответ на любой требует чтения из настоящей системы, и построение этого пути и есть основная часть работы.
Предложение, которое её опускает, продаёт обёртку вокруг базы знаний. Демонстрация будет выглядеть отлично, потому что на демонстрациях задают общие вопросы.
Что рабочая версия делает иначе
Она отвечает только на то, что может проверить, и говорит, откуда взяла ответ.
Во внедрении у агентства недвижимости автоматика отвечала на то, на что могло ответить само объявление: этаж, площадь, цена, что входит, доступен ли объект. Всё остальное уходило названному агенту вместе с перепиской. Время ответа ушло с 6 часов до 8 минут, и сработало это потому, что автоматика никогда не догадывалась.
Всё обязывающее уходит человеку по замыслу. Цена вне опубликованной, условия, обещания. Эта граница разобрана в наших правилах о человеке в контуре, и мы за неё не извиняемся: автоматика, соглашающаяся на что-то от вашего имени в два часа ночи, это риск, а не возможность.
Передача оператору и есть весь продукт
Здесь ломается три вещи, и все три чинятся дёшево.
Аварийный выход спрятан, поэтому клиент угадывает волшебную фразу, чтобы добраться до человека. Скажите в первом сообщении, что человек доступен.
Передача выглядит голым уведомлением, поэтому оператор начинает с вопроса, который клиент уже дважды объяснил. Переносите переписку, иначе автоматика потратила время вместо экономии.
Очередь за передачей не укомплектована под то, что бот эскалирует, поэтому быстрый отказ превращается в долгое молчание. Это решение о ресурсах, и принимать его надо до запуска, а не обнаруживать на второй неделе.
Передавайте при первом признаке раздражения, а не при третьем. Цена лишней передачи это несколько минут времени оператора. Цена отказанной это клиент.
Когда мы говорим не строить
В этой категории чаще, чем в любой другой, и обычно по одной из трёх причин.
Обращения в основном о том, что бот проверить не может. Объём слишком мал, чтобы кто-то это поддерживал. Или настоящая проблема в том, что медленно отвечают люди, а автоматика станет украшением поверх этого.
Третий случай стоит назвать, потому что он частый. Если обращения ждут четыре часа, потому что в семь вечера отвечать некому, бот, приветливо и бесполезно отвечающий в семь вечера, ожидание не починил, а автоматизировал. Деньги лучше потратить на маршрутизацию, на покрытие часов или на устранение причины, по которой к вам обращаются.
Это та же проверка, что и пятое условие готовности: если узкое место не здесь, ускорение этой части не даст ничего, что можно положить в кассу.
Что спросить у следующего подрядчика
Из каких систем он будет читать и что сделает, когда чтение не удастся.
Чем его меряют, и если ответ «долей закрытых без человека», то что происходит с этим числом, когда бот правильно передаёт диалог.
Как клиент добирается до человека, за сколько сообщений и кто ждёт его на той стороне.
И попросите показать переписку из настоящего внедрения в плохой день. Как выглядит защитимый ответ на первый вопрос, показано в посте про разделение правил и модели в обработке заказов: детерминированные вопросы за правилами, неструктурированный вход за моделью, и местами они не меняются.
01Что не так с метрикой доли обращений без человека?+
Она платит системе за то, что клиенты ненавидят. Метрика считает диалоги, закончившиеся без оператора, поэтому каждая передача засчитывается как провал, а каждый отказ передать как победа, независимо от того, получил ли клиент то, за чем пришёл. Бот, оптимизированный под это число, учится удерживать людей в кругу переформулированных вопросов и предложенных статей, потому что клиент, который сдался и закрыл окно, считается точно так же, как клиент, которому помогли. Это не тонкое расхождение целей, это в точности тот механизм, который люди описывают, когда говорят, что ненавидят чат-ботов. Мерьте решением вопроса и временем до передачи оператору, и та же самая технология даст совсем другой опыт, потому что стимул начнёт указывать туда же, куда смотрит клиент.
02Наш бот умел только пересказывать раздел вопросов и ответов. Почему?+
Потому что у него не было доступа к системам, где лежат ответы, а это решение об объёме работ и интеграциях, а не ограничение модели. Автоматика поддержки, не подключённая ни к чему, способна только пересказывать опубликованное, поэтому она конкурирует с вашим же поиском по сайту и проигрывает: клиент обычно прочитал эту страницу до того, как открыл чат. Вопросы, которые действительно порождают обращения, конкретны и личны: где мой заказ, это ещё доступно, за что с меня списали эту сумму, можно ли перенести запись. Ответ на любой из них требует чтения из системы заказов, склада, биллинга или календаря, и построение этого пути и есть основная часть настоящей работы. Предложение, которое её опускает, продаёт обёртку вокруг базы знаний, а демонстрация будет выглядеть отлично, потому что на демонстрациях задают общие вопросы.
03Как должна работать передача оператору?+
Немедленно, заметно и вместе со всей перепиской, а не отдельным новым обращением. На практике ломается три вещи, и все три чинятся. Аварийный выход спрятан, поэтому клиенту приходится угадывать волшебную фразу, чтобы добраться до человека, и лёгкое раздражение превращается в злость. Передача выглядит голым уведомлением, поэтому оператор начинает с вопроса, на который клиент уже дважды ответил, и автоматика потратила время вместо того, чтобы его сэкономить. И очередь за передачей не укомплектована под тот объём, который бот эскалирует, поэтому быстрый отказ превращается в долгое молчание. Скажите в первом же сообщении, что человек доступен, передавайте при первом признаке раздражения, а не при третьем, и переносите переписку целиком.
04Когда честный ответ состоит в том, что бота внедрять не надо?+
Когда обращения в основном о том, что бот проверить не может; когда объём слишком мал, чтобы кто-то это поддерживал; или когда настоящая проблема в том, что медленно отвечают люди, а автоматика поддержки станет украшением поверх этого. Последний случай встречается часто и его стоит назвать: если обращения ждут четыре часа, потому что в семь вечера за них никто не берётся, бот, который в семь вечера скажет что-то приветливое и бесполезное, ничего не починил, он просто автоматизировал ожидание. В такой ситуации деньги лучше потратить на маршрутизацию, на покрытие часов или на устранение причины, по которой к вам вообще обращаются. Мы отказываем в автоматизации поддержки по этим основаниям чаще, чем в любой другой категории проектов.
