Персонализация Fiverr - это долгий путь, и мы много инвестируем, чтобы узнать наших покупателей, понять их проблемы и адаптировать их опыт для более быстрого удовлетворения их потребностей.
В этом сообщении в блоге я поделюсь нашим процессом и идеями, полученными в результате персонализации содержимого баннеров Fiverr, показывая, что персонализированный выбор содержимого увеличивает вовлеченность покупателей и лучше знакомит наших покупателей с разнообразием услуг, предлагаемых на рынке.
Для этого мы провели ряд AB-тестов, каждое из которых преследовало цель повысить вовлеченность и приблизить нас на один шаг к нашей конечной цели.
Достигли ли мы этой цели? Продолжайте читать, и вы узнаете…
Отказ от универсального решения
Если у вас есть статическая страница, которую вы хотите персонализировать, вы должны быть знакомы с проблемой контента, который в значительной степени универсален. Вы знаете, что это неправильно, но не знаете, с чего начать или как исправить это.
Год назад у нас было очень ограниченное количество баннеров, которые были созданы командами маркетинга и редакции и одинаково представлены всем аудиториям.
Наша гипотеза заключалась в том, что, увеличивая объем контента и персонализируя выбор баннеров, мы могли бы увеличить общее взаимодействие с покупателями. Это откроет им доступ к большему разнообразию услуг и активов на нашем рынке и направит их к их «следующему шагу» по удовлетворению их более широких потребностей.
Наш план был прост:
- Создание контента - чтобы тестировать больше контента, нам нужно было больше контента.
Маркетинговая команда начала работу над созданием контента, включая сочетание руководств, статей, рекламных акций, вдохновляющих материалов, объявлений в каталогах и, конечно же, рекомендаций по обслуживанию (Gig). - Сбор данных - чтобы персонализировать работу, нам нужно было убедиться, что мы собрали правильные данные как о покупателе, так и о контенте. Позволяет нам проводить более качественный анализ и применять решения на основе данных, продвигаясь вперед в нашем путешествии.
- Персонализированный алгоритм - персонализированный опыт означал, что нам нужен персонализированный алгоритм.
Подождите, как мы можем перейти от универсального решения к полностью индивидуализированному опыту? Ответ: маленькими шагами
Очень важно начать с простого, а не переходить к полноценному сложному алгоритму.
Поэтому мы решили действовать шаг за шагом, и первым шагом было предоставить больше контента, используя самое простое, что мы могли использовать, - случайность.
Шаг 1. Жесткое кодирование против случайного
Тестирование модели случайного выбора важно, потому что ее легко реализовать, и она также может служить ориентиром для любой будущей оптимизации.
Случайность нужна в основном для сбора большего количества данных по всем баннерам, поэтому это поможет нам проверить гипотезу о том, что свежий контент способствует вовлечению.
Мы провели AB-тест в течение 14 дней, чего было достаточно, чтобы получить статистическую значимость и проверить наш новый опыт.
Тест прошел отлично! CTR контента (CTR) улучшился на 20%, а это означает, что он был более интересным, привлекающим внимание. Мы также улучшили нашу способность отслеживать взаимодействие с компонентом и определять ключевые функции.
Для чего? Давайте посмотрим…
Шаг 2. Случайное обучение или обучение с подкреплением
Теперь у нас было больше контента, чем раньше, и было понятно, что какой-то контент был более интересным, чем другой. Следующим шагом было показать больше интересного контента и меньше контента, который неэффективен.
Для этого мы применили модель обучения с подкреплением - Thompson Sampling - для оптимизации CTR контента при одновременном балансировании исследования нового контента.
Проще говоря, более привлекательный контент будет появляться чаще, чем менее привлекательный.
Мы провели AB-тест, при этом случайная группа выступила в качестве нашей контрольной группы, а группа вариации получила модель выборки Томпсона для выбора баннера.
Результаты тестов были очень хорошими! Мы увидели дополнительное увеличение CTR контента на 6%, и эта модель помогла нам выявить многие идеи.
Во-первых, мы смогли проанализировать особенности покупателей и определить наиболее эффективные темы и домены.
Во-вторых, что наиболее важно, мы узнали, что существует огромная потребность в персонализации контента, поскольку мы увидели, что шансы на привлечение внимания резко снизились в зависимости от частоты видимости контента.
Стоит отметить, что еще одним важным моментом стало то, что не все контентные баннеры одинаковы.
Например, рекламный баннер, отмечающий доступность новой категории, может повысить осведомленность покупателя даже без явного взаимодействия (клика). В то время как баннер с рекомендациями, который ведет на специальную страницу рекомендаций, должен быть задействован для предоставления ценности.
Это обучение привело нас к определению дополнительных ключевых показателей эффективности взаимодействия, о которых я не буду рассказывать в этом сообщении в блоге.
Шаг 3. Обучение с подкреплением и персонализированная модель
Обучение с подкреплением по определению использует один контент больше, чем другой. Вот почему это все еще не личное; Чтобы предоставить персонализированную модель, нам нужно было определить список соответствующих функций, которые должны повлиять на шансы взаимодействия.
Для этого мы обучили модель DeepFM (Deep Factorization Machine), которая учитывала список из 15 отобранных вручную функций, в том числе:
- Функции, связанные с покупателем, такие как история покупок и активность в Интернете.
- Функции, связанные с контентом, такие как тип контента и KPI.
- Функции, связанные с поведением, например вероятность щелчка в зависимости от частоты видимости
Затем мы провели AB-тест, сравнив модель Thompson Sampling в качестве нашей контрольной группы с нашей моделью DeepFM в группе вариантов:
К счастью, мы увидели дополнительное повышение вовлеченности (CTR) на 12%.
Новая модель смогла лично оптимизировать выбор контента, одновременно балансируя между использованием высокопроизводительного контента и изучением нового контента.
Уже достигнутые результаты
Таким образом, наш процесс «ноль к одному» достиг важной вехи. Мы смогли увидеть улучшения в нескольких областях:
- увеличение нескольких бизнес-показателей KPI
- организация трафика покупателей по большему количеству категорий и активов торговой площадки
- улучшение общего опыта
- улучшение взаимодействия с контентом
Сказав это, наши усилия по персонализации не закончились, и нам еще предстоит долгий путь.
Наше путешествие до сих пор было очень информативным, что позволило нам собрать больше данных и выдвинуть множество новых идей и гипотез.
Мы решили улучшить наши планы масштабирования контента, внедрить более совершенные методы тегирования контента и расширить наши возможности для нацеливания премиального контента на определенную аудиторию и сегмент.
Я расскажу об этом в следующем сообщении в блоге.
__
Эта статья была создана с помощью Fiverr Sellers:
