Чтобы в полной мере использовать машинное обучение, мы должны обрисовать, как прогнозы повлияют на политику.

В 2013 году McKinsey опубликовала статью, в которой исследовала, как розничные торговцы могут не отставать от потребителей. В нем говорится, что 35% покупок потребителей на Amazon и 75% контента, просматриваемого на Netflix, были вызваны рекомендациями по продуктам. Не общие рекомендации, а персонализированные

«на основе все более сложных алгоритмов и прогнозных моделей, которые анализируют данные о транзакциях и тенденции цифровых медиа».

Сегодня, в эпоху пузыря фильтров, персонализация настолько прочно укоренилась в нашем опыте работы в Интернете, что мы даже не подозреваем о ней. Сказать, что для розничных торговцев одним из способов не отставать от потребителей является персонализация, - все равно что сказать, что ежедневная чистка зубов может предотвратить кариес.

Мы все знаем - и если вы этого не сделаете, это ваша ответственность!

Фактически, успех машинного обучения в целом ряде приложений, а не только в системах рекомендаций, хорошо известен. Модели глубокого обучения могут не хуже специалистов здравоохранения выполнять медицинскую диагностику, деревья решений могут использоваться для прогнозирования оттока клиентов для телекоммуникационных компаний, а распознавание лиц может помочь в пограничном контроле в аэропортах, чтобы сократить время ожидания в очереди.

Вот и все, машинное обучение - верный способ повысить эффективность и производительность процессов.

На самом деле модель машинного обучения не является универсальным решением, потому что все, что они делают, - это вывод прогноза. Чего они не могут и, следовательно, не должны делать, так это прямо диктовать политику.

В этом контексте политика - это набор процессов, которые изменятся на выходе алгоритма машинного обучения, то есть стратегия, используемая для рекомендации персонализированных продуктов, активные вмешательства, используемые для борьбы с оттоком клиентов, как решить, разрешать ли кому-либо пересекать границу. , и т.д.

Одна из величайших ошибок, которые делают конечные пользователи алгоритмов машинного обучения, - это предположить, что существует простой переход от прогнозируемых результатов к изменениям политики.

Чтобы изучить это более подробно, давайте подробнее рассмотрим системы рекомендаций и напомним себе об успехе Amazon и Netflix:

Уже сейчас 35 процентов того, что потребители покупают на Amazon, и 75 процентов того, что они смотрят на Netflix, поступают из рекомендаций по продуктам, основанных на таких алгоритмах.

А затем задайте себе следующий вопрос:

Насколько снизилось бы участие потребителей без этих индивидуальных рекомендаций?

Прогнозирование результатов

Это может показаться странным вопросом: если 35% вовлеченности обеспечивается персонализированными рекомендациями, то наверняка без персонализированных рекомендаций вовлеченность будет на 35% меньше?

Однако это рассуждение неверно. Он не учитывает продукты, с которыми потребители бы заинтересовались, независимо от того, рекомендованы они или нет.

Чтобы исследовать это дальше, нам нужно вкратце взглянуть на основной алгоритм в большинстве рекомендательных систем - совместную фильтрацию.

При совместной фильтрации прогнозы делаются относительно вкусов определенного пользователя в отношении различных продуктов на основе основного предположения, что, если два человека соглашаются по одному вопросу, они также, вероятно, согласятся и по другому ...

Если потребители A и B оба смотрели фильм Start Wars, а B также смотрел фильм Star Trek, вполне вероятно, что A также посмотрел бы фильм Star Trek.

В этом рассуждении есть несколько недостатков, в том числе предположение, что просмотр фильма является признаком того, что фильм понравился; но пока предположим, что этот метод эффективно предсказывает потребительские вкусы.

И это именно то, что делает модель, она предсказывает вкусы потребителей. Если бы мы порекомендовали фильм «Звездный путь» потребителю А, модель предсказывает, что они его посмотрят.

Вот что делает модель. Он не говорит вам, следует ли вам рекомендовать фильм.

Диктовка политики

Кажется очевидным, что продукты, которые потребителю, скорее всего, понравятся, как предсказывает высокоэффективная система рекомендаций, следует рекомендовать потребителю. Однако, как мы уже говорили ранее, это не учитывает действия потребителя, независимо от того, ознакомился ли он с рекомендациями или нет.

В нашем примере с фильмом, возможно, человек А является большим фанатом научной фантастики и в любом случае намеревался посмотреть фильм «Стар Стрек». В этом случае персонализированные рекомендации снизили количество кликов для него, чтобы получить фильм, который он хочет посмотреть (конечно, положительный пользовательский опыт - это не плохо), но не улучшили вовлеченность.

Вот еще один пример:

А и Б покупают и лампу, а Б покупает лампочку. А также рекомендуют лампочку и покупают ее.

Опять же, человек А, возможно, купил лампочку, но не получил ее. Фактически, в этом случае почти очевидно, что им нужно будет где-нибудь купить лампочку!

И это часто понимают неправильно. Конечные пользователи моделей машинного обучения часто не понимают, что результаты прогнозной модели не могут быть напрямую перенесены на изменение политики.

Принятие решения

Чтобы модели прогнозирующего машинного обучения использовались эффективно, перед изменением политики должен быть сделан дополнительный шаг. На этом этапе принимаются решения о том, как лучше всего использовать результаты модели для информирования политики.

Однако даже с моделью, которая хорошо работает на бумаге, это может оказаться непростым шагом. Существует множество различных методов, которые можно использовать в различных обстоятельствах, чтобы попытаться максимизировать влияние, получаемое от результатов прогнозных моделей.

Здесь мы рассмотрим несколько методов в нескольких различных приложениях машинного обучения.

Контекстные рекомендации

Amazon - чемпион по персонализации. Они полностью покрывают веб-сайт рекомендациями по продуктам, но все они снабжены определенным контекстом, будь то «Вам может понравиться…» или «Покупатели, купившие этот товар, также купили».

Amazon использует более сложные алгоритмы, чем базовая совместная фильтрация, но это означает, что он может рекомендовать вам нужные продукты в нужное время и в нужном контексте.

Когда вы заходите на сайт, может быть наиболее эффективным порекомендовать продукт, который вы раньше не видели, но когда вы переходите на страницу, посвященную лампе, может быть полезно узнать, что другие клиенты также купили лампочку.

A / B тестирование

Для Netflix каждое изменение продукта проходит тщательное A / B-тестирование, прежде чем стать частью стандартного пользовательского опыта. Фактически, тестирование изображений, связанных с заголовками, может увеличить просмотр более чем на 20%!

A / B-тестирование - идеальный метод для понимания того, что произойдет в разных сценариях. Что касается рекомендаций, это позволяет нам ответить на вопрос «насколько они на самом деле увеличивают, а не только стимулируют вовлеченность клиентов?». Это можно измерить, разработав тест для сравнения групп, которые получают и не получают персональные рекомендации.

Ранее мы упоминали модели прогнозируемого оттока. Здесь также можно использовать A / B-тестирование. Когда модель предсказывает, что кто-то, скорее всего, уйдет, что вы делаете? Вы можете отправить им специальную скидку, предложить им обновление или ничего не делать.

Тест может быть разработан для сравнения результатов различных вмешательств, используемых в отношении клиентов, которые, вероятно, уйдут, чтобы определить, какие из них наиболее эффективны и экономичны.

Человеческая помощь

В некоторых случаях последствия неправильного решения могут быть слишком сильными для создания автономных политик, основанных на результатах моделей машинного обучения.

Автоматизированный пограничный контроль (ABC) использует распознавание лиц, чтобы сравнить ваше лицо с фотографией в паспорте, чтобы решить, пропустить ли вас через ворота. Прогнозируемый результат модели - это уверенность, с которой она рассчитывает совпадение.

Политика создается, чтобы решить, какой уровень уверенности необходим для автоматического въезда в страну. Должна ли это быть 99% уверенности? 80%? Если это решение будет принято неверно, это может привести к незаконному въезду в страну! с другой стороны, это может привести к снижению эффективности, когда никого не пропускают и всех перенаправляют в основную очередь.

На практике обычно в другой комнате находится человек, который проверяет изображения ниже определенного порога. Таким образом, модель работает вместе с человеком для принятия решений, но не является полностью автономной.

Последние мысли

Машинное обучение - ценный инструмент, который станет еще более заметным в нашей повседневной жизни. Его часто называют решением организационных проблем, от оптимизации процессов до взаимодействия с потребителями.

Однако машинное обучение является ценным активом только в том случае, если прогнозируемые результаты интерпретируются правильно и разумно действуют.

Машинное обучение - это только часть решения, и если остальной части решения не уделяется значительного внимания, то любые изменения политики, связанные с ним, могут в лучшем случае стать пустой тратой ресурсов, а в худшем - нанести значительный ущерб. .

Настоящий позор состоит в том, что во многих случаях лежащие в основе модели очень хорошо выполняют свою задачу и при правильном использовании могут повлиять на реальные положительные изменения.