Успешное предоставление высококачественных услуг и поддержание удовлетворенности клиентов является приоритетом для любой компании. Трудно понять, доволен ли клиент обслуживанием: на прямые вопросы обычно следует вежливый ответ «все в порядке». Однако именно реальные впечатления клиентов позволяют компаниям улучшать свои услуги и создавать уникальный опыт для каждого клиента.

Мы поставили перед собой такую ​​задачу: разработать систему, способную анализировать эмоции клиентов во время обслуживания. Мы придумали коробочное решение, которое автоматически анализирует данные из видео с помощью технологий машинного обучения (ML) и компьютерного зрения (CV). Это позволяет нам идентифицировать и классифицировать эмоциональные состояния клиентов, такие как радость, печаль, разочарование или удовлетворение.

Процесс разработки

Процесс разработки состоял из нескольких этапов. Во-первых, необходимо было собрать обучающий набор данных, содержащий видеозаписи клиентов во время использования услуг компании. Эти видеоролики должны были представлять разные ситуации, чтобы система могла научиться распознавать эмоциональные выражения в разных контекстах.

Затем с помощью алгоритмов машинного обучения систему нужно было обучить на этом наборе данных. В итоге механизм получился следующим: ML-модель анализирует видео и выявляет особенности выражений на лицах клиентов, такие как мимика, морщины, взгляды и другие признаки эмоционального выражения. Затем система классифицирует эти характеристики, определяя, какие эмоциональные состояния присутствуют при получении услуги.

Основной проблемой при разработке такой системы является сложность анализа эмоций. Эмоции имеют множество оттенков и по-разному проявляются у разных людей. Поэтому было важно уделить время тестированию и оптимизации модели, чтобы повысить ее точность и достоверность результатов.

Практическое применение

После того, как система была обучена и достигла необходимого уровня точности, мы подготовили ее для реального использования — в сети кафе-пиццерий.

Система позволила сети пиццерий выявить проблемные моменты в обслуживании.

Одним из примеров проблемных моментов в обслуживании может быть долгое ожидание заказа. Благодаря системе распознавания эмоций пилотное кафе стало обращать внимание на то, как клиенты проявляют недовольство или раздражение из-за долгого ожидания — нахмурив брови, постукивая пальцами по столу и т. д. Таким образом, выяснилось, что длительное время ожидания постоянное явление для этого ресторана. Администрация учла это и отработала процесс согласования между кухней и обслуживающим персоналом — это позволило ускорить выдачу заказов.

Если говорить об удовлетворенности клиентов в целом, то опыт внедрения решения в сети кафе-пиццерий позволил зафиксировать рост более чем на 30%. Анализ полученных данных показал, что существует достаточно сильная корреляция между удовлетворенностью клиентов и размером среднего чека — 0,86.

Варианты интеграции

Окончательно разработанная система оценки эмоций клиентов может быть интегрирована в существующую инфраструктуру компании. В зависимости от специфики бизнес-процессов клиента, система может работать на серверах компании или в облаке для обеспечения высокой производительности и масштабируемости.

При разработке системы мы также использовали подход граничных вычислений, когда основная обработка видеопотока осуществляется на конечных устройствах, что позволяет не перегружать интернет-каналы заказчика и давать мгновенную обратную связь. Для этого нейронные сети портируются и оптимизируются для работы на процессорах arm. Это позволяет продукту работать на экономичных одноплатных компьютерах, снижая затраты на интеграцию и распознавание.

Нюансы

Следует отметить, что система оценки эмоций является лишь инструментом, а не заменой супервайзера или специалистов по работе с клиентами. Результаты анализа эмоций следует использовать в сочетании с другими источниками данных и экспертным мнением команды для принятия обоснованных решений.

Вопросы конфиденциальности и защиты данных требуют особого внимания. Собранные видеоролики клиентов и результаты их анализа должны быть защищены и не должны использоваться не по назначению. Это достигается соблюдением соответствующих стандартов безопасности и регулярным обновлением системы.

Планы на будущее

В планах дальнейшее масштабирование и доработка системы. В частности, внедрение новых алгоритмов и моделей, которые позволят системе распознавать более точные и сложные эмоциональные состояния клиентов. Также рассматриваем реализацию распознавания не только мимики и мимики, но и интонации голоса и других сигналов.