Как компания по управлению поездками (TMC), Egencia предлагает клиентам B2B инструменты управления поездками, среди которых важное значение имеет одобрение. Более 50% клиентов Egencia используют одобрение хотя бы для одного типа командировки, т. е. имеют как минимум конфигурацию, требующую одобрения для поездки, и это позволяет клиентам проверять, соблюдают ли их сотрудники политику командировок компании.
Базовая функциональность утверждения поездки
Предположим, менеджер по туризму решает активировать одобрение для всех сотрудников, которые бронируют международный рейс дороже 500 долларов. В этом случае:
Каждый раз, когда пользователь бронирует международный рейс на сумму, превышающую эту сумму, скажем, 550 долларов США, бронирование завершается только после того, как его утверждающее лицо одобрит его. Утверждающее лицо может попросить пользователя изменить этот рейс, и в этом случае бронирование будет отклонено.
Если сотрудник этой компании забронирует внутренний рейс на любую сумму или международный рейс, стоимость которого меньше установленного порога, скажем, 400 долларов США, Egencia сразу подтвердит бронирование без необходимости одобрения.
Что мы хотим улучшить?
Все критерии одобрения, т. е. тип бронирования (авиабилеты, бронирование отелей, железнодорожные билеты, аренда автомобиля); статус полиса (любой/только вне полиса); тип географии (внутренний, международный, межконтинентальный); цена поездки (меньше/больше); и другие, специфичные для политики, можно комбинировать разными способами. Теперь представьте, что существует десятки таких комбинаций, которые клиент может выбрать для активации автоматического одобрения в Egencia.
С учетом согласования полетов настроено:
Давайте посмотрим на 10 наиболее популярных комбинаций критериев одобрения рейсов, наблюдаемых среди клиентов Egencia:
Мы наблюдаем, что:
- (фиолетовая лампочка)38% критериев, связанных с правилами, отправляют бронирования на утверждение.
- (желтая лампочка)50% критериев включают географию
- (синяя лампочка)15 % критериев связаны с ценой и обычно сочетаются с географией.
Это лишь 10 из десятков уникальных конфигураций одобрения, наблюдаемых у наших клиентов во всех сферах бизнеса.
Все новые клиенты, присоединяющиеся к Egencia, могут настроить несколько параметров одобрения поездок для своей компании, в свою очередь, этот процесс утверждения для онлайн-бронирования, бронирования через мобильное приложение и офлайн-бронирования выполняется немедленно командой службы поддержки клиентов Egencia. Частый вопрос, который мы получаем от новых клиентов: «Чем занимаются другие ваши клиенты?»
«Было бы хорошо, если бы были доступны сравнительные данные по сравнению с аналогичной отраслью. Мою компанию действительно волнует только то, что делают другие компании-разработчики программного обеспечения».
Можем ли мы добиться большего, чем этот ручной подход?
По состоянию на январь 2023 года более 50% клиентов Egencia требуют одобрения для использования хотя бы в одной из групп своих сотрудников. После углубленного исследовательского анализа данных и проверки концепции мы смогли доказать, что в данных существуют определенные закономерности, которые позволяют нам предсказать, будет ли одобрение выгодным для клиента.
На рисунке выше мы приводим пример предварительного анализа, в котором мы наблюдали различия в использовании утверждений по регионам. Мы заметили, что страна (POS) 21 и страна (POS) 22 немного ниже среднего мирового показателя; Кроме того, конкретный географический регион меньше всего пользуется одобрением. Это может отражать культурные нюансы.
В ходе одной из первых проверок концепции мы разработали модель классификации, которая предсказывала, требуется ли одобрение клиенту малого и среднего предприятия (МСП) или нет. Из общего числа клиентов малого и среднего бизнеса мы разделили их 80/20 на обучающие и тестовые наборы данных. Используя атрибуты клиента, описывающие каждого клиента как функции, и информацию об использовании их одобрения в качестве метки, мы построили базовый классификатор Случайный лес с 200 деревьями в наборе обучающих данных, который мы оценили на тестовом наборе клиентов, о которых мы уже знали. их одобрение использования. Мы смогли получить показатель f1, равный 0,69, которого было достаточно, чтобы доказать существование выявленного паттерна.
Рассматривая важность функций встроенного классификатора для проверки концепции, мы заметили, что атрибуты, отражающие размер компании и географические регионы, сыграли значительную роль в прогнозировании флага использования одобрения для клиентов малого и среднего бизнеса.
Примечание:Приведенный выше метод представляет собой одну из возможностей вычислить, насколько каждый признак способствует уменьшению взвешенной примеси в деревьях решений. Учитывая модель Random Forest, речь идет об усреднении снижения примесей по деревьям. Этот подход может быть предвзятым и преувеличивать важность непрерывных признаков или категориальных переменных с высокой мощностью.
Что мы могли бы улучшить в первую очередь?
Вместе с менеджерами по продуктам для утверждения мы решили автоматически рекомендовать конфигурации утверждения новым клиентам на основе настроек существующих клиентов Egencia с активированными утверждениями.
Как мы собирались это сделать?
Мы рассматривали проблему как проблему рекомендательных систем, где мы определили «пользователей» в традиционной терминологии рекомендательных систем как клиентов Egencia (B2B), а «элементы» — как «конфигурации разрешения на поездку».
Рекомендательные системы — это программные инструменты и методы, которые предлагают элементы, которые, скорее всего, будут интересны конкретному пользователю.
Какой подход к системе рекомендаций лучше всего подходит для нашего сценария использования?
Учитывая основную цель — рекомендовать конфигурации утверждения новым клиентам, мы выбрали методы на основе контента, чтобы мы могли использовать эксклюзивные данные профиля клиента. Система рекомендаций на основе контента может быть реализована с использованием очень простых моделей классификации или регрессии для каждого рекомендуемого элемента, а также с использованием более сложных моделей классификации с несколькими метками, включая глубокие нейронные сети.
Этот подход в основном используется гибридным образом, в сочетании с совместной фильтрацией, но все еще присутствует в Pandora (на основе пользователя, т.е. с использованием профилей элементов), Stitch Fix fashion box (на основе элементов, т.е. с использованием профилей пользователей), Linkedin (профили пользователей) и Amazon (профили товаров + демографические данные пользователей).
Мы выделяем следующие преимущества использования методов, основанных на контенте:
- Они гораздо меньше страдают от проблемы холодного запуска, чем совместные подходы: новых клиентов можно описать по их характеристикам (содержание), и поэтому для этих новых объектов можно сделать соответствующие предложения.
- Они вычислительно быстры и легко интерпретируются.
Однако у них есть и недостаток, связанный с дисбалансом классов. Это может вызвать проблемы с производительностью: не все конфигурации одобрения одинаково распределены среди клиентов Egencia.
Создание системы рекомендаций
Мы решили проблему рекомендательной системы с помощью многозадачного классификатора, в котором для данного клиента Egencia, представленного его профилем, мы прогнозировали, должен ли каждый класс (не взаимоисключающий) использоваться всеми пользователями, частью пользователей или ни одним. пользователей каждого класса.
Вам, вероятно, интересно, что мы подразумеваем под «классом». Чтобы иметь возможность обучить многозадачный классификатор, нам пришлось преобразовать набор данных конфигураций утверждения таким образом, чтобы мы могли иметь метку, связанную с каждой конфигурацией утверждения. По этой причине мы закодировали в классе от 0 до n (с акцентом на наиболее популярные настройки, наблюдаемые среди клиентов Egencia) конфигурации одобрения, определенные соответствующим направлением деятельности и критериями. Ниже вы найдете снимок, на котором запечатлено это преобразование данных:
Примечание.За исключением вспомогательного class_0, который представляет общий флаг использования одобрения, набор данных сильно несбалансирован.
Как только данные приобрели подходящую форму, мы могли экспериментировать с различными подходами к моделированию задачи многозадачной классификации: для конкретного клиента мы хотели спрогнозировать метки, которые мы рекомендуем для каждого возможного параметра утверждения. Например:
- Клиент А:
TRUE для class_0,
ALL_USERS для class_1, MAJORITY_USERS для class_16 и NOT_USED для всех остальных 22 классов. - Клиент Б:
FALSE для class_0,
и NOT_USED для всех остальных n -1 класс.
При оценке классификаторов мы в первую очередь сосредоточились на полноте и точности. Вместе с командой разработчиков мы также решили, что нам следует оптимизировать модели для большей точности, поскольку мы хотим быть уверены, что классы (конфигурации одобрения), которые мы рекомендовали использовать хотя бы части пользователей, были релевантными, т. е. использовались этими клиентами. , даже если были классы, которые мы не рекомендовали и которые действительно использовались.
Это, вместе с анализом доминирующих моделей с точки зрения этих метрик, а также пользовательских метрик, обсуждавшихся с командой разработчиков, позволило нам выбрать лучший подход к моделированию. Как показано на графике выше, это был классификатор LightGBM, используемый в оболочке MultiOutput с опцией взвешивания классов для обработки сильно несбалансированного набора данных.
На тестовом наборе мы наблюдали микросреднюю точность 0,29 (+363% относительно базового уровня всегда требуется для всех пользователей) и микросреднюю точность отзыва, равную 0,49 (+159% относительно базового уровня никогда не требовалось). ). Учитывая сильно несбалансированные классы, эти результаты не были удивительными, особенно в контексте холодного запуска, в котором мы могли использовать только ограниченное количество атрибутов, описывающих профиль клиента во время реализации. Его определенно можно улучшить, используя гибридный подход, при котором мы учитываем взаимодействие клиентов с другими настройками, а также дополнительные поведенческие характеристики, как только они начинают использовать Egencia.
Глядя на производительность модели по классам (конфигурациям одобрения), как показано на рисунке 10, мы решили ограничить эту версию классификатора 14 классами, для которых отзыв имел значение выше 0,1. Это также стало результатом дополнительных обсуждений с командой разработчиков продукта.
Как мы завоевали доверие?
Особенно с точки зрения бизнеса мы часто можем услышать: «Иметь точную модель — это хорошо, но объяснения ведут к более качественным продуктам», а с технической точки зрения — «Что делает алгоритмы машинного обучения трудными для понимания, так же делает их отличными предсказателями». ». Я бы сказал, что оба правы.
К счастью, объяснимый искусственный интеллект (xAI) — новая область. Она направлена на преодоление этой проблемы, и мы могли бы изучить ее в случае с этим проектом, поэтому для каждой рекомендации мы можем обеспечить прозрачность и обоснование модели. Ниже приведен пример сообщения, которое мы отобразили для одной из рекомендаций:
Если вам интересно, что стоит за этим динамическим сообщением, мы использовали SHAP (SHapley Aдобавочные объясненияPланации), метод, изучающий локальная интерпретируемость прогнозной модели.
Что теперь?
Эта первая версия системы рекомендаций по одобрению была развернута для всех новых клиентов, присоединяющихся к Egencia с января 2022 года. Модель машинного обучения, основанная на LightGBM, дает менеджерам по туризму индивидуальные рекомендации по настройке одобрения путем сравнения рекомендаций, установленных для аналогичных клиентов. . Инструмент использует внутреннюю информацию, такую как размер клиента, географический регион, отрасль и другие атрибуты, доступные на момент внедрения.
На данный момент 74 новых клиента явно или косвенно приняли рекомендации инструмента утверждения. Интересно отметить, что есть клиенты, которые несколько раз пробовали использовать инструмент рекомендаций и, похоже, ищут информацию.
Мы разработали подробное представление процесса того, что происходит на странице, чтобы обсудить шаги по улучшению в будущем. Приведенный выше график «Непосредственное следование» представляет процесс, обнаруженный с помощью журналов событий со страницы инструмента рекомендаций по утверждению. Это график, узлы которого представляют действия в журнале, например. РЕКОМЕНДАЦИЯ НАЧАЛО, а направленные ребра присутствуют между узлами, если в журнале есть хотя бы трассировка, где за исходной активностью следует целевая активность. Помимо этих направленных ребер, легко представить такие показатели, как частота, подсчитывающая количество раз, когда за исходной активностью следует целевая активность.
Кроме того, команда продукта собирает обратную связь, чтобы лучше понять, ищут ли тревел-менеджеры информацию при возвращении на страницу и предпочитают совершать окончательное действие вручную или же они имели в виду другие настройки. В качестве примечания: события РЕКОМЕНДАЦИЯ ОЖИДАЕТСЯ относятся к случаям, когда профиль клиента еще не завершен.
Благодаря этому запуску мы сможем собирать явные и неявные отзывы от наших клиентов, которые станут ключом к улучшению и развитию дальнейших возможностей инструмента. Мы будем перерабатывать и использовать классификаторы с большим количеством функций и более полными и точными данными, а также передовые методы гибридных рекомендательных систем.
Выражаю благодарность Крити Агарвалу и Палаку Хантал за то, что воплотили этот проект машинного обучения в реальность, доктору Бегонье Аскасо за рецензию на мою работу, а также Хлое Анхель и Наташе Сэмюэл за то, что помогли мне сделать эту статью более озвученной и выглядеть лучше.
