Измерение успеха чат-ботов и голосовых ботов
И почему показатели должны контролировать друг друга
Введение
Большинство платформ разговорного ИИ, используемых для создания цифровых помощников (чат-ботов и голосовых ботов), имеют расширенную консоль управления с циферблатами и диаграммами, показывающими, как работает чат-бот.
Часто это создает впечатляющий слайд продаж или презентацию для руководителей, но не всегда точно передает истинное качество разговорного опыта.
Выше показано базовое расширение архитектуры чат-бота для голосового бота,однако, есть несколько соображений по проектированию.
В целом основными задачами цифрового помощника являются:
- Автоматизируйте взаимодействие с клиентами
- Сэкономьте деньги и представьте убедительную рентабельность инвестиций (ROI)
- Улучшить качество обслуживания клиентов
Одна из причин, по которой автоматизация телефонных/колл-центров и CCAI набирают популярность, связана с тем, что такие предприятия, как банки, телекоммуникационные компании и т. д., не хотят вводить еще один канал, они не хотят добавлять еще одно устройство для взаимодействия с клиентами. Они хотят автоматизировать существующие каналы и среды, из которых голосовые вызовы составляют большую часть и являются самыми дорогими в обслуживании.
Перевод
Разговорный дизайн должен быть превращен в удобный пользовательский интерфейс.
Пользовательский опыт — это то, что пользователь чувствует после использования интерфейса. Вот почему разработка, ориентированная на намерения (iDD), важна для точного определения того, о чем хотят говорить пользователи.
Хорошим источником намерений клиентов являются существующие разговоры пользователей, особенно разговоры из колл-центра. Исследования показали, что одна причина обращения в службу поддержки может составлять от 40% до 60% звонков в колл-центр. Если эти вызовы и их последующие варианты можно будет автоматизировать, система оправдает себя.
Требуется проницательный инструмент для автоматизации категоризации пользовательских высказываний на намерения, поднамерения и, возможно, намерения, вложенные на несколько уровней вглубь.
Наличие списка пользовательских высказываний, подобного приведенному ниже, является хорошим началом и чрезвычайно ценным. Но разбивая эти высказывания на намерения, принимая во внимание…
- Размер кластера
- Гранулярность
- Язык
- Перекрытия намерений
- Категоризация для подпунктов, подподпунктов и т. д. намерений…
требуют автоматического инструмента с циферблатами и рычагами для достижения нужных результатов в заданной конфигурации.
Забавный факт
На крупном предприятии мы взяли 20 000 записей. Эти записи были тщательно расшифрованы людьми.
Те же 20 000 записей были переданы через API автоматического распознавания речи (ASR) с специально обученной акустической моделью.
Оба набора расшифровок (расшифрованные ASR и транскрибированные человеком) были сопоставлены с API NLU, и в расшифрованных данных ASR было обнаружено только 4% устаревания в распознавании намерений.
Это доказывает общую точность и зрелость ASR, но следует помнить, что использовались одни и те же записи. Цель этого упражнения состояла в проверке и тестировании концепции ASR.
Однако следует помнить, что пользователи взаимодействуют с чат-ботом (текстовым диалоговым интерфейсом) совершенно иначе, чем с голосовым ботом. В голосовом роботе пользовательские высказывания будут более подробными, более длинными входными данными и отсутствием ввода отдельных слов; как в случае с быстрыми ответами и кнопками.
Метрики
Слишком много метрик создают путаницу, и во многих случаях метрики фокусируются на поведении, которое дополняет план путешествия. Элементы совершенных путешествий становятся важными. Всегда существует опасность несоблюдения объема и сдерживания, и если эти показатели приемлемы, вроде бы все хорошо.
Но вот что важно при измерении успеха цифрового помощника:
- Что клиент испытал?
- Решились ли их намерения?
- В какой степени бот был активен в повышении осведомленности о контексте и решении второстепенных или основных проблем.
Эти четыре показателя контролируют друг друга, высокий уровень сдерживания оказывает давление на остальные три показателя. Улучшение NPS и CSAT окажет давление на Сдерживание. Отказ от постоянных клиентов требует времени, чтобы построить лучший путь и извлечь уроки из NPS.
Идеальные четыре показателя для использования:
- Оценка Net Promoter Score должна быть высокой.
- Оценка удовлетворенности клиентовдолжна быть высокой.
- Сдерживание должно быть высоким.
- Постоянные клиенты должны быть низкими.
И балансирование этих четырех факторов с высоким NPS, CSAT и сдерживанием, а также низким числом возвращающихся клиентов на одном и том же канале требует времени и усилий, чтобы добиться правильного результата.
Net Promoter Score (NPS)
NPS может быть очень жесткой метрикой, она часто отражает общий уровень продуктов и услуг организации. Следовательно, он не всегда является репрезентативным для конкретного канала.
Touchpoint NPS (tNPS) может быть способом сегментации оценок NPS по каналам и услугам. И это может указывать на то, где лежат возможности для улучшения. Когда сдерживание отключено и пользователям разрешен приоритетный доступ к агентам, NPS и CSAT неизбежно будут выше.
Оценка удовлетворенности клиентов
CSAT часто используется для измерения определенного канала или среды или конкретной ветви внутри чат-бота. И используется параллельно с NPS. Где NPS может быть общеорганизационным, tNPS пытается измерить конкретную среду или канал, а CSAT измеряет этап или путь внутри агента.
CSAT можно внедрить, чтобы исправить определенную часть взаимодействия с пользователем. Но также подвержен искусственному надуванию путем сброса защитной оболочки.
Сдерживание
Сдерживание — это, по сути, процент пользователей, не выбравших перевод агента или обратный вызов. Это можно «улучшить», просто лишив пользователя возможности обратиться к агенту или запланировать обратный вызов.
Это приведет к хорошим показателям сдерживания, но NPS и CSAT будут минимальными. Способ улучшить сдерживание состоит в том, чтобы создать исключительный разговорный опыт и разрешить запрос пользователей. Простая блокировка пользователей от агента не только снижает NPS и CSAT, но и количество возвращающихся клиентов.
Постоянных клиентов
Метрика Постоянные клиенты показывает, использовал ли клиент цифровой помощник и возвращал или использовал какой-либо другой канал в течение периода от семи до десяти дней.
Пользователи могут использовать чат-бот, но затем предпочитают использовать другой канал. Например, в случае плохого чат-бота пользователи могут выбрать звонок в колл-центр, пойти в центр без предварительной записи или использовать электронную почту, приложение и т. д. Это означает, что пользователю не помогает цифровой агент, как предполагается. . Но лучше использовать другой канал.
Большое количество возвращающихся клиентов увеличивает давление на другие каналы, не обеспечивает автоматизацию, как было обещано, и показывает, что клиенты голосуют ногами.
Эта метрика также довольно жесткая, так как два посещения могут быть не связаны между собой, но здесь перед диалоговым агентом стоит задача повысить осведомленность о контексте и решать запросы упреждающим образом.
Заключение
Преимущество NPS в том, что он создает возможность связаться с клиентами, поговорить и понять причину их рейтинга. Во многих случаях негатив со стороны пользователя не связан напрямую с чат-ботом или голосовым ботом. Но это скорее продукт, услуга и организационная связь.
Это требует коллективных усилий, и диалоговый агент становится механизмом или, по крайней мере, основным фактором для повышения NPS и CSAT в масштабах предприятия.
