Задумывались ли вы когда-нибудь, как веб-сайты электронной коммерции, такие как Amazon, Myntra, Flipkart и т. д., достигают гипер-персонализации, как эти веб-сайты отображают продукты, рекламу для вас на основе вашей истории поиска и как вы, скорее всего, нажмете на них или купите их? ?
Что ж, заслуга искусственного интеллекта (а именно глубокого обучения и машинного обучения). Он находит применение в сегментации клиентов, целевых кампаниях, оптимизированном ценообразовании, защите от мошенничества, системах рекомендаций и т. д.
DL/ML стало особенно полезным для людей, которые занимаются бизнесом, продавая товары или услуги в Интернете. Это позволяет розничному продавцу проникнуть в мысли покупателей, узнать, что их волнует, что им нужно и что они думают о ваших продуктах и услугах.
Хотя ML/DL имеет различные последствия в электронной коммерции, мы специально собираемся углубитесь в автоматическое создание объявлений/креативов/баннеров.
Центральная точка беспокойства
Поиск имеет решающее значение для успеха бизнеса электронной коммерции. Если продукт не появится перед потенциальным покупателем, как они узнают, что этот конкретный продукт существует? Более того, сайт/приложение должны отображать эти продукты с креативами и баннерами, которые привлекают внимание и привлекают внимание клиентов.
Первая точка контакта клиента с приложением/веб-сайтом — домашняя страница. Привлечение пользователя в основном привлекается баннером/изображениями/креативами на главной странице.
В настоящее время прилагаются постоянные усилия для создания приятных и запоминающихся изображений баннеров. Этот ручной процесс отнимает много времени и сил, в результате чего создается лишь небольшой набор баннеров, что снижает персонализацию.
ПОЛУЧЕНИЕ РЕШЕНИЯ
Теперь мы рассмотрим метод, который автоматически генерирует креативы в больших масштабах за минимально возможное время. Мы автоматизируем процесс, которым следуют дизайнеры, используя DL. Разнообразный набор сгенерированных баннеров позволяет достичь высокой степени персонализации.
ОБЗОР
Мы представляем метод, который генерирует изображения баннеров с использованием библиотеки элементов дизайна. Примеры элементов дизайна включают фоновое изображение, текстовые фразы, логотип и т. д.
Любое изображение/баннер имеет основную тему, логотип бренда, фоновое изображение, аффилированные тексты и дополнительные элементы в качестве составляющих. Мы стремимся оптимально структурировать эти составляющие, что приводит к желаемому конечному продукту (креативу).
Для создания креатива выполняются следующие шаги:
- Крупномасштабная автоматическая аннотация всех доступных изображений и пометка каждого из них соответствующими данными;
- Передача аннотированных данных в модуль генерации макета и далее в модуль создания;
- Переоценка сгенерированных баннеров с помощью модели, построенной на исторических данных.
АВТОМАТИЧЕСКАЯ АННОТАЦИЯ
На этом этапе извлекаются метаданные изображения. Изображения фотосессии проходят через набор детекторов, каждый из которых определяет определенный атрибут. Как только аннотация завершена, эта вновь полученная информация передается в качестве входных данных в модуль генерации макета, а затем в модуль создания. Извлекается интересующая область, и различные элементы сшиваются вместе в соответствии со спецификациями макета.
- ОБНАРУЖЕНИЕ ОБЪЕКТОВ И ЛИЦ
Входное изображение проходит через детектор объектов RCNN по маске. Маска RCNN выполняет задачу сегментации экземпляров и выделяет отдельные интересующие объекты. Таким образом, изображения были помечены ограничивающими рамками присутствующих людей и дополнительной информацией, такой как общее количество людей, доминирующий человек и т. д. Для аннотаций человека/объекта используется предварительно обученный детектор.
- ОПРЕДЕЛЕНИЕ КАТЕГОРИИ МОДА
Детектор моды построен на основе масковой архитектуры RCNN и обучается на таких категориях моды, как обувь, часы и т. д. Данные обучения для этого детектора содержали помеченные вручную ограничивающие рамки и метки классов для категорий моды. Этот детектор предоставляет ограничивающую рамку категории вместе с ее типом.
- ОПРЕДЕЛЕНИЕ ПОЛА И ЛИЦА
Помимо всего тела человека, обнаружение лица будет более полезным. Это связано с тем, что в определенных случаях допускается наложение других элементов на тело человека, но элементы дизайна не должны присутствовать на лице. Для этой цели используется модель определения пола на основе CNN, обученная на наборе данных IMDB-Wiki.
ГЕНЕРАЦИЯ МАКЕТА
Макет определяется как набор позиций/размещений для каждого из элементов дизайна, таких как «логотип бренда», «текстовые выноски» и т. д., на заданном изображении контента, состоящем из людей и/или объектов вместе с их ограничивающими рамками. Компоновку L можно определить как {θ1, θ1 . . . θn }, где θi представляет собой координаты ограничивающей рамки для i-го элемента дизайна. Наша цель — найти координаты θi, которые формируют макет с наибольшей эстетической ценностью.
Для этой цели используется генетический алгоритм. Генетический алгоритм моделирует естественный процесс эволюции и использует следующие методы для достижения наилучшего возможного/наиболее подходящего решения:
а) Отбор: выбирает лучших родителей для получения следующего поколения из популяции.
b) Кроссовер: объединяет двух родителей для создания новых особей. В нашем случае это включает в себя обмен координатами между различными элементами дизайна, такими как текстовые поля/логотип.
c) Мутация: случайным образом изменяет гены/точки отдельных особей для создания новых особей. Это помогает в оценке новых точек координат.
d) Функция пригодности: использует показатель пригодности для оценки совокупности. В качестве следующих родителей выбирают людей с более высоким показателем физической подготовки.
Ограничительные рамки людей и объектов на изображении фотосессии считаются фиксированными. Эти координаты являются входными данными для модели. Алгоритм выполняет серию отборов, пересечений и мутаций логотипа и текстовых координат, чтобы найти наилучшее решение на основе фитнес-функции и предоставленных ограничений.
Функция пригодности включает в себя основы графического дизайна путем агрегирования баллов по каждому из аспектов дизайна, таких как:
- Выравнивание
- Перекрытие. Мы вычисляем процент перекрытия для всех пар элементов и начисляем штраф в оценке пригодности.
- Расстояние между элементами.Даже при нулевом перекрытии элементы дизайна могут располагаться близко друг к другу, что снижает эстетическую ценность креатива.
- Симметрия. Мы вычисляем асимметрию для всех элементов макета изображения и добавляем ее в качестве штрафного условия в оценку пригодности.
Окончательная оценка приспособленности/энергии для макета, E(X, θ), представляет собой взвешенную сумму индивидуальных оценок, Ei (X, θ). Веса для индивидуальных оценок пригодности были получены путем регрессии этих оценок на CTR исторических баннеров.
ГЕНЕРАЦИЯ ТВОРЧЕСТВА
Объединяя все вместе, креативная генерация включает в себя следующие шаги для данной библиотеки изображений фотосессии с аннотациями, логотипами брендов, текстовыми выносками.
1. Фильтрация релевантных изображений фотосессии для данного бренда или категории с использованием автоматических тегов. Название бренда уже указано для изображений в виде ярлыков.
2. Автоматическая обрезка выбранных изображений фотосессии для поиска интересующей области с помощью аннотаций.
3. Генерация лучших макетов для данного обрезанного изображения, логотипа и текстовых выносок.
4. Наложение различных элементов дизайна в соответствии со спецификацией макета.
РЕЙТИНГ ОБЪЯВЛЕНИЙ
Из всех созданных креативов мы бы предпочли, чтобы в эфир показывались только лучшие. Была разработана методология ранжирования, которая выбирает нужные баннеры. Этот метод основан на исторически актуальном наборе данных, в котором в качестве ярлыков были изображения вместе с их CTR (коэффициент кликабельности).
Мы использовали Neural ImageAssessment (баллы NIMA), который вычисляет баллы, представляющие эстетику изображения. Это достигается путем обучения глубокой CNN набору данных, содержащему изображения, а также человеческое суждение об эстетике.
Модель машинного обучения, такая как логистическая регрессия, деревья решений, классификатор случайного леса, подходит для извлеченных функций.
Эти извлеченные функции: площадь, пол, тип категории, функции, зависящие от положения, тип среды, перекрывающиеся объекты, текстовые квадранты.
Модель ранжирует креативы и выбирает лучшие.
ЗАКЛЮЧЕНИЕ
Представляем новый подход к автоматической генерации рекламных креативов, который, согласно экспериментам:
- приводит к значительному увеличению CTR (на 72%);
- включает в себя модель ранжирования, которая оценивает сгенерированные баннеры в соответствии с человеческим суждением.
Это помогает сократить огромные усилия и рабочие часы, затрачиваемые дизайнерами в настоящее время, а также предоставить более широкий выбор вариантов. Более широкий спектр баннеров поможет обслуживать широкий круг пользователей вместо того, чтобы показывать общие баннеры всем пользователям.
