Авторы: Йохан Грембер, Александр Казе

Мы два специалиста по обработке данных в ManoMano, ведущей платформе электронной коммерции в Европе (1 млн пользователей в день и 420 млн евро в прошлом году). Мы поехали в Копенгаген на RecSys 2019 и получили огромное удовольствие! В этом посте мы представим идеи, которые мы смогли связать с нашими текущими проблемами, и полагаем, что могут быть реализованы на нашем веб-сайте.

Проверка работоспособности для более надежной архитектуры

Spotify провел очень приятный разговор о персонализации домашней страницы и о том, как они решают проблему разнообразия прогнозов в производстве. Когда у пользователей есть уникальные рекомендации, невозможно вручную проверить их все, чтобы убедиться, что модели не идут на юг.

Изящным решением этой проблемы является разработка проверок работоспособности, то есть статистических правил, которые необходимо соблюдать на всех домашних страницах. Например, плейлист с расслабляющим пианино должен отображаться чаще вечером, чем днем.

Этот разговор заставил нас понять, что у нас нет такого процесса. Наша архитектура содержит множество функциональных и нагрузочных тестов, которые предотвращают падение отображения наших двигателей. Однако их содержание не имеет автоматической защиты.

Что ж, все меняется, и в ManoMano проходят проверки работоспособности :) Этот проект консолидирует нашу архитектуру данных, и мы очень рады возглавить его в сотрудничестве с нашими любимыми веб-разработчиками и инженерами по надежности сайтов!

Обогатите неявную обратную связь

У нас было большое прозрение о таких компаниях цифрового контента, как Twitter и Spotify: их продукт - это данные. Как розничные продавцы, мы имеем доступ к очень ограниченным отзывам о наших продуктах после их покупки (в основном, это случайные оценки и гневные звонки в нашу службу поддержки). Напротив, цифровые компании могут использовать информацию об использовании продукта. Хорошие примеры были представлены на Recsys:

  • Microsoft создала оценку удовлетворенности после покупки для своих игр, основанную на времени и частоте проведения игры. Несмотря на то, что он основан только на послепродажных функциях, этот счет помогает им более точно прогнозировать другие игры, приобретенные игроком.

  • Spotify рассматривает прослушивание песни как положительный отзыв только в том случае, если ее слушают не менее 30 секунд.

Эти разговоры заставили нас задуматься. Несмотря на то, что у нас очень мало отзывов после покупки, по-прежнему существует много ценных, но неиспользованных неявных отзывов о том, как наши пользователи взаимодействуют с нашим веб-сайтом. Сегодня мы используем покупки и клики как положительные отзывы во многих алгоритмах. Одна многообещающая идея - уточнить эти клики с учетом продолжительности просмотра страницы: если пользователь проводит на странице продукта менее 2 секунд после клика, возможно, этот клик на самом деле был не так актуален!

Новые неявные функции, такие как продолжительность просмотров страницы или количество кликов для выполнения заказа, еще не исследовались в ManoMano и скоро начнут вносить свой вклад в наши рекомендательные системы :)

Помните, что UX - это цель

Развертывания первоклассного алгоритма, предназначенного для решения реальной проблемы и оптимизации правильной метрики, недостаточно, чтобы оказать большое влияние. Нам также необходимо подумать о том, как пользователи взаимодействуют с нашим алгоритмом.

Amazon уже много лет предлагает автозаполнение поисковых запросов! Только недавно они улучшили свой пользовательский интерфейс по запросам с высокой степенью достоверности с призрачным, то есть выделением предлагаемого текста […] в поле поиска помимо отображения предложений в раскрывающемся списке . Результаты? Принятие предложений выросло на 6%, а количество ошибок при поиске снизилось на 4,5%!

Коллеги по анализу данных, пожалуйста, не игнорируйте этот вывод: улучшение дизайна пользовательского интерфейса может принести больше плодов, чем один год исследований и разработок в области науки о данных. Чтобы получить отличные результаты, специалисты по анализу данных должны тесно сотрудничать с командами по исследованию пользователей, продуктам и пользовательскому интерфейсу, чтобы тщательно продумать, как пользователи будут взаимодействовать с их новой функцией.

Объясните предложения

Возникающая тема, стоящая прямо на границе между UX и наукой о данных, - это объяснимость предсказаний.

Представьте, что вы идете в магазин DIY, и продавец говорит вам: «Я рекомендую эту дрель и эту батарею». Может быть, вы доверяете продавцу, поэтому верите тому, что он вам говорит, но что, если совет исходит из алгоритма? Вы бы поверили этому? У вас не было причин для этого, и мы находим ошеломляющим то, что большинство рекомендательных систем до сих пор не объясняют, почему они демонстрируют один продукт по сравнению с другим!

Мы думаем, что должны двигаться к миру, в котором алгоритм говорит вам: «Вы должны купить эту дрель, потому что она соответствует вашим потребностям и является нашим бестселлером, а также эту батарею, которая совместима с дрелью и имеет большую автономность». . Поступая таким образом, алгоритм докажет и объяснит правильность своих предложений, тем самым повысив доверие к таблице.

Groupon это поняли и стали отображать происхождение своих рекомендаций в заголовке карусели. Они запустили эту идею с 58 различных сообщений, что позволило им заменить общие объяснения, такие как Рекомендуемые предложения для вас, контекстными сообщениями, такими как Китайские рестораны рядом с вами. Полученные результаты? Количество кликов по рекомендациям увеличилось на 50%!

И снова вывод ясен: пользователи более благосклонно реагируют на сообщения, которые они понимают и которые помогают им ориентироваться. Чтобы добиться отличных результатов, предложения не следует доставлять в виде черного ящика. Объяснения должны быть частью UX, и мы очень рады думать, что будем видеть это все чаще и чаще в будущем.

Заключение

В целом, для ManoMano было здорово принять участие в мероприятии такого высокого уровня, дающем обзор как промышленных, так и академических проблем, связанных с рекомендательными системами. RecSys заставляет задуматься о многих вопросах:

  • Контролируются ли наши эксперименты с данными с помощью проверки работоспособности?
  • Неужели мы исчерпали все источники неявной обратной связи?
  • Тратим ли мы достаточно времени на уточнение нашего пользовательского интерфейса вместо наших моделей?
  • Является ли объяснение достаточной частью нашей рекомендательной системы UX?

Эти вопросы будут лежать в основе наших входящих тестов и, надеюсь, приведут к улучшениям для пользователей ManoMano. Спасибо организаторам RecSys, мы еще вернемся!

Спасибо команде Data Science за их помощь Romain AYRES, Bryce TICHIT, Marin DE BEAUCHAMP, Jacques Peeters и Эрлету Ленджани и Йинка Абоаба за вычитку!