Авторы Алексей Робский, Джошуа Чанг, Яэль Брумер и Марк Филто
Клиенты находятся в центре любого успешного бизнеса, большого или малого. Мы хотим, чтобы клиенты были довольны услугой или продуктом, которые они получают, и чтобы они чувствовали, что им есть к чему обратиться, когда дела идут не так, как ожидалось. Один из способов, которым мы помогаем достичь последней части, - это предоставляемая нами поддержка клиентов.
Неудивительно, что плохой опыт поддержки может привести к оттоку, понижению рейтинга или чему-то еще, что приравнивается к потере бизнеса. Например, вспомните, когда вы в последний раз звонили своему интернет-провайдеру по поводу проблемы, с которой столкнулись. Возможно, вы уже испытали что-то плохое с услугой - что побудило вас позвонить - и если агент службы поддержки не помог вам почувствовать себя хорошо в ситуации (независимо от того, была ли проблема решена или нет), у вас могло возникнуть соблазн уехать. Мы не хотим, чтобы с нами происходило что-то подобное с нашей службой поддержки.
В этой первой части серии статей, состоящей из двух частей, посвященных использованию машинного обучения для обеспечения поддержки клиентов мирового класса, мы представляем некоторые из наиболее важных элементов на основе метрик, участвующих в предоставлении отличной поддержки, включая факторы, влияющие на приоритизацию обращений в службу поддержки и измерение успешности поддержки клиентов. Мы обсуждаем некоторые проблемы, связанные с использованием опросов клиентов для оценки успешности поддержки клиентов, а также знакомим с некоторыми идеями, лежащими в основе создания модели машинного обучения, которую можно использовать для обеспечения поддержки клиентов. Во второй статье наши коллеги Яэль Брумер и Салли Митрофанов описывают, как мы используем методы обработки естественного языка, чтобы расставить приоритеты для инженерных усилий по преодолению проблем, выявленных клиентами. Но сначала, в этой статье, давайте подготовим почву для обзора постановки проблемы.
Проблема учета атрибутов
Плохому опыту поддержки могут способствовать многие факторы, начиная с того, как они в первую очередь расставлены по приоритетам. Группы поддержки клиентов по-разному определяют приоритетность отложенных обращений в службу поддержки. Некоторые используют FIFO (первый пришел - первый ушел), в то время как другие используют более систематический подход, например, рассматривая определенные атрибуты дела, включая возраст дела, его серьезность или сложность проблемы. Все эти методы, выполняемые вручную, пытаются «угадать», у каких клиентов плохой опыт поддержки, в основном на основе мнения команды или проверяющих.
Однако полагаться только на человеческое понимание, как правило, означает учитывать меньшее количество атрибутов, ни один из которых не может быть релевантным. Что, если мы сосредоточимся не на тех? Как мы действительно узнаем, какое обращение в службу поддержки следует рассматривать в первую очередь, не глядя на десятки атрибутов, которые могут иметь значение, и сравнивать их все друг с другом? Рассмотрим, например, следующие три обращения в службу поддержки клиентов, в каждом из которых есть всего несколько атрибутов (тип проблемы, давность, серьезность и тип клиента).
Нет простого ответа. Имея минимальную информацию такого типа, мы просто не знаем достаточно. Вот где может помочь масштабируемая модель машинного обучения, о чем мы вскоре поговорим.
Измерение успеха службы поддержки клиентов
Решение этой проблемы может помочь нам разработать способ ранжирования обращений в службу поддержки. Ранжирование включает в себя измерение, результатом которого являются данные. Но понимание того, как мы измеряем успешность поддержки, также позволяет нам создавать метки - другими словами, информативные теги о наших данных, - которые мы можем использовать в нашей модели машинного обучения.
Один из способов измерить успешность поддержки - это посмотреть на отзывы клиентов, предоставленные в ходе опроса, который клиенты получают по окончании обращения в службу поддержки. Это одна из немногих точек прямого контакта с клиентами, которые мы можем получить, согласованные в различных сегментах клиентов (таких как предприятия, студенты, стартапы и т. Д.).
В опросе о поддержке мы просим клиентов оценить полученную поддержку по шкале от 1 до 5 (1 - «очень плохо», а 5 - «очень хорошо»). Как и в случае любого опроса, мы не можем добиться 100-процентного отклика, но, глядя на ответы на опрос за 12-месячный период, у нас есть достаточно образцов, чтобы проанализировать и понять опыт поддержки.
Проблемы, связанные с ответами на опросы, и способы их решения
Даже при наличии достаточного количества ответов на опрос для анализа все еще есть некоторые проблемы, которые необходимо учитывать, в том числе следующие:
- Ответы могут отражать впечатление клиентов о продукте, а не об опыте поддержки. Некоторые клиенты могут расстроиться из-за проблемы с продуктом, и даже несмотря на то, что у них, возможно, был отличный опыт поддержки, они все равно могут поставить более низкую оценку в опросе.
- Среди респондентов есть тенденция давать единый балл независимо от опыта поддержки. Например, некоторые люди отвечают 3 на каждый вопрос о поддержке.
- Клиенты, отправляющие ответы на опросы, как правило, имеют исключительно положительный или отрицательный опыт поддержки (проблема предвзятого выбора).
- Ответы могут быть сильно смещены в сторону 5 баллов, что приведет к ненормальному распределению, из-за которого будет сложнее делать выводы на основе изменений средней удовлетворенности клиентов.
- География клиентов и связанные с ними культурные различия влияют на то, как они оценивают получаемые услуги. Например, американцы обычно оценивают средний опыт на 5 баллов, а во Франции - на 3.
- Некоторые клиенты могут запутаться в том, какой балл 1 - самый низкий или самый высокий, когда они проходят опрос. Иногда пользовательский интерфейс может быть разработан для смягчения этого, но это все же может происходить.
Есть много способов преодолеть и смягчить эти проблемы с учетом рентабельности инвестиций. В некоторых из приведенных выше случаев мы предположили, что распределение ошибок равномерно распределено по опросам, и поэтому, если мы посмотрим на средний балл удовлетворенности с доверительными интервалами и сравним их месяц за месяцем, мы можем сосредоточиться на общем улучшение тренда. Другими словами, если средний балл составляет 4,5, мы на самом деле не знаем, отражает ли это реальную численность населения или нет. Однако если мы набрали 4,2 несколько месяцев назад и 4,8 через три месяца, то эти три показателя показывают положительную тенденцию, которая дает уверенность в том, что мы движемся в правильном направлении.
Решение для машинного обучения
Чтобы обеспечить более последовательный процесс определения приоритетов на основе данных, мы разработали модель машинного обучения, которая объединяет несколько входных данных о характеристиках обращений, которые мы обсуждали, и пытается оценить заявки в службу поддержки, которые могут снизить степень удовлетворенности клиентов.
Как и в случае с большинством контролируемых подходов к машинному обучению, мы должны определить метку и входные данные. Данные ответов на опрос являются достаточным показателем качества обслуживания клиентов (с оговорками, которые мы затронем в следующем разделе). Мы также можем дополнить это дополнительными входными данными о том, что мы знаем на момент обращения в службу поддержки; например, информация о клиенте, рабочая нагрузка представителя службы поддержки (т. е. количество назначенных им тикетов), состояние тикета (например, серьезность, продолжительность, эскалация и т. д.) и информация о продукте (т. е. продукт, по поводу которого звонит клиент) .
Комбинируя все входные данные, мы можем обучить модель машинного обучения с высокой точностью, а затем делать прогнозы по поступающим кейсам. Этот метод позволяет группам поддержки сосредоточиться на случаях с более высокой вероятностью неудовлетворенности клиентов, чтобы они могли предпринять корректирующие действия для улучшения этого опыта. Затем предпринятые действия передаются обратно (через петлю обратной связи) в модель, чтобы уменьшить систематические ошибки, вызванные вмешательством.
Результаты
Этот подход на основе машинного обучения дал нам следующие результаты:
Результаты тестирования модели
Как это часто бывает при построении моделей машинного обучения, мы разделяем данные на группы «обучение-тест» и «обучение-тест-проверка». Затем мы использовали наборы тестов для выполнения перекрестной проверки и выполнили настройку гиперпараметров, чтобы проверить лучшую модель на наборе проверки.
Мы оптимизируем для уменьшения количества ложных срабатываний (т. Е. Продвигая на рассмотрение дело, которое не требует рассмотрения), потому что они являются дорогостоящими, за счет баланса с высоким показателем Площадь под кривой (AUC) - обычным показателем эффективности для бинарный классификатор. Мы получили очень высокий AUC (примерно 80 процентов) и низкий уровень ложноположительных результатов (примерно 15 процентов).
Результаты модели в производстве
Как и в случае со всеми серийными моделями, путешествие не заканчивается, когда модель запущена и работает. Мы стремимся постоянно улучшать наши модели с течением времени, и у нас есть множество циклов обратной связи и процессов, которые могут нам помочь. Вклад заинтересованных сторон, например, согласны ли они с прогнозами или вручную помечают случаи, которые должны были быть обнаружены моделью, уже привел к многочисленным улучшениям модели, обычно в форме дополнительных функций. Мы также периодически повторно изучаем важность характеристик модели, чтобы проверить, проходят ли результаты предсказания «тест на обнаружение». Например, если мы видим особенно высокий процент обращений с высокой вероятностью неудовлетворенности среди определенного сегмента клиентов, мы исследуем некоторые из основных характеристик, такие как возраст обращения, чтобы убедиться, что исходные данные говорят последовательную историю об увеличении риск такого исхода.
Поддержка успешных результатов - наша конечная цель
После запуска этой модели в течение некоторого времени мы можем измерить наш успех, просмотрев заявки с действиями, предпринятыми на основе модели, и сравнить их с заявками без действий, предпринятых в результате модели, и посмотреть, являются ли распределения опросов статистически значимыми. Для случаев, когда действия, предпринятые на основе модели, мы видим улучшение результатов опроса удовлетворенности клиентов примерно на 10 процентов.
Далее в части 2
Один из способов улучшить наши продукты и услуги - это понять общие темы поддержки клиентов, выявленные в обращениях в службу поддержки. В Части 2 этой серии статей, состоящей из двух частей, наши коллеги Яэль Брумер, Салли Митрофанов, Алексей Робски и Иван Барриентос описывают, как мы применяем методы обработки естественного языка (НЛП) для определения приоритетов инженерных усилий. для преодоления проблем, выявленных клиентами.
Чтобы прочитать следующую статью из этой серии, обратите внимание на следующее:
