Поиск недостающей информации, которую мы, как маркетологи, обычно хотели бы иметь
Google Lift Measurement - это инструмент, который предлагает удобный, простой в настройке и почти в реальном времени подход для измерения влияния наших кампаний на некоторые из наиболее стратегических маркетинговых показателей, в частности, связанных с управлением брендом.
Сказав это, есть некоторые важные недостающие части информации, которые мы, как маркетологи, обычно хотели бы иметь, как указано в большинстве исследований.
Об измерении подъемной силы
Lift Measurement - это инструмент в составе Google Ads Platform, который может измерять, как ваша реклама влияет на восприятие вашего бренда людьми. Эти меры полезны для нас, маркетологов, поскольку они позволяют нам оценивать эффективность конкретной маркетинговой кампании с точки зрения хорошо известных ключевых маркетинговых показателей, таких как узнаваемость бренда, отзывчивость и внимание, а не обычных показателей цифрового маркетинга, таких как клики, показы, частота. и дотянуться.
После включения инструмент позволяет нам измерять до 3 различных показателей, включая уже упомянутые, плюс предпочтение и намерение покупки. Кроме того, как и в традиционных потребительских тестах, инструмент требует, чтобы мы предоставляли альтернативные бренды из категории, которая обычно включает прямых конкурентов.
Что касается затрат, то, несмотря на то, что он рекламируется как бесплатный, на практике Google запрашивает минимальные вложения для тестируемой кампании. В случае с YouTube реклама зависит от местоположения, но для видео в других местах в их сетях стоит 15 000 долларов США.
Как это работает
После настройки кампании выбираются показатели и определяются бренды из категории (обычно конкуренты); вам будет предоставлен предварительный минимальный бюджет, который, как можно предположить, зависит от статистической мощности.
В конце концов, когда кампании запущены и показываются объявления, инструмент случайным образом сгенерирует тестовую и контрольную группы. В частности, группы будут создаваться на основе следующих критериев:
- Тестовая группа: люди, которые видели нашу рекламу.
- Контрольная группа: люди, которые соответствовали критериям сегментации нашей кампании, но не видели нашу рекламу.
Будут собраны опросы из обеих групп, и различные показатели, такие как Brand Lift, будут вычисляться и отображаться на панели управления, как только будет найден «обнаруживаемый» результат, который Google определяет как Lift ›2,0%.
Результаты
Как только будет собрано достаточное количество ответов на опрос, инструмент представит свои результаты в виде ожидаемых значений и их соответствующих (доверительных) интервалов в форме следующих показателей:
- Базовая PRR: процент людей в контрольной группе, которые выбрали наш бренд в качестве предпочтения среди всех других представленных брендов.
- Открытый PRR: процент людей в тестовой группе, которые выбрали наш бренд в качестве предпочтения среди всех других предоставленных брендов.
- Абсолютный рост бренда: разница в PRR между тестовой и контрольной группами.
- Относительный рост бренда. Повышение базовой PRR благодаря протестированной кампании (абсолютный рост бренда / базовая PRR).
- Всего ответов на опрос: общее количество опросов (тестовый + контрольный).
PRR: частота положительных ответов
В отчет также включены другие показатели, разработанные на основе вышеизложенного, такие как Цена за привлеченного пользователя, Показано для рекламы, Показано не для рекламы. .
Недостающая информация
Чтобы понять, может ли небольшой наблюдаемый рост быть результатом простой случайности, генерировать новые интервалы в соответствии с нашими предпочтениями и, вообще говоря, лучше сообщать результаты внутри нашей компании, нам потребуется информация, которая в настоящее время не предоставляется в прямой форме.
Кроме того, эта информация может пролить свет на более глубокое понимание того, почему нам необходимо инвестировать минимальный запрашиваемый бюджет, что во многих случаях делается с единственной целью данного исследования.
Особенно:
- Уровень значимости. Несмотря на то, что числовые доверительные интервалы включены для каждой метрики, фактический уровень достоверности в процентах не приводится и обычно не рассматривается в документации. До сих пор мне удалось найти некоторую официальную информацию, в которой говорится, что это обычно около 90% [ref], но неясно, однозначно это или двустороннее.
- P-значение: это позволит нам быстро проверить гипотезу для различных уровней уверенности, которые мы могли бы использовать.
Наконец, даже несмотря на то, что «Всего ответов на опрос» сообщается как в сводке, так и в самом отчете, фактический размер выборки тестовых и контрольных групп не отображается по умолчанию на странице сводки и не доступен. где-либо еще в пределах самого отчета, что ограничивает наши возможности по проведению статистических тестов результатов, связанных с возрастом, полом, кампанией и видео.
Поиск недостающей информации
Чтобы найти недостающую информацию, нам необходимо выполнить эвристический поиск всех возможных комбинаций уровней достоверности и размеров выборки, а затем сравнить эти результаты, чтобы проверить, какой из них лучше приближается к результатам, предоставленным Google.
Чтобы избежать метода перебора, который требует времени и ресурсов, был создан специальный алгоритм, который пытается изучить два параметра: размеры выборки и интервал PRR, как определено по разнице между ожидаемыми значениями абсолютного продвижения бренда (верхнего и нижнего пределов).
Алгоритм обучения
Был построен специальный алгоритм оптимизации, который позволит нам получить хорошее приближение:
- Уровень значимости.
- Размер выборки как тестовой, так и контрольной групп.
- Стандартная ошибка.
- p-значение
Эта информация позволит нам проводить статистические тесты, что станет ступенькой в создании доверительных интервалов, соответствующих нашим потребностям.
Используемый алгоритм
(данные предоставлены результатами Google Brand Lift)
Output: Expected Lift: 2.55%
Расчет уровня уверенности
Мы постараемся получить уровень достоверности, используемый Google в отчете, созданном инструментом.
Примечание. У нас есть два результата (Прогноз и Наиболее вероятный). Это связано с тем, что Google предоставляет нам приблизительные (округленные) значения, которые влияют на этот расчет. Позже мы будем использовать только значение «Наиболее вероятно», которое является приближением к часто используемым интервалам.
Output: Values found after 98 iterations - Predicted Type I Error: 0.19 - Most likely Type I Error: 0.2 - Most likely Level of Significance: 80% (two tailed)
Размеры образцов, стандартная ошибка и p-значения
Значения рассчитываются с использованием рассчитанной выше «наиболее вероятной ошибки типа I». Обратите внимание, что эти значения будут наилучшим приближением к заданным параметрам.
Output: Values found after 86 iterations - Sample size 1 (n1): 3366 surveys - Sample size 2 (n2): 2257 surveys - Standard Error: 0.0132812499999766 - p-value: 0.054858
Как видно из приведенных выше результатов, мы получили p-значение 0,054858, поэтому, как мы подтвердим позже, мы можем ожидать, что результаты не будут значимыми для интервалов 95% или более, хотя это близко на 95%.
Нашли недостающие части
Теперь мы можем перейти к определению значений для наших пользовательских интервалов.
Примечание. эти значения представляют собой (хорошее) приближение к реальным. Если есть вероятность, что у вас уже есть реальные размеры выборки или дополнительная информация, попробуйте использовать их и сравните результаты.
Исходные ценности Brand Lift
Теперь мы можем рассчитать исходный отчет со всей недостающей информацией. Это должно быть хорошим приближением к фактическим значениям, предоставленным Google.
Output: 80% confidence interval: 0.85% - 4.25%
Доверительный интервал на уровне 90%
Output: 90% confidence interval: 0.372% - 4.728%
Доверительный интервал 95%
Output: 95% confidence interval: -0.053% - 5.153%
Как предсказывалось выше, в этот момент ожидаемый интервал включает вероятность нулевой подъемной силы, что согласуется с нашим значением p, найденным ранее.
Доверительный интервал 99%
Output: 99% confidence interval: -0.827% - 6.027%
Последние мысли
Как видно из отчета, при доверительном интервале 95% мы не можем отвергнуть нулевую гипотезу; следовательно, мы не наблюдаем значительного увеличения количества положительных ответов, если используем уровень достоверности 95%. В отличие от этого, мы изначально пришли к выводу, что произошло значительное увеличение, наблюдая за выходными данными по умолчанию из Lift Measurement Tool.
Мнения могут различаться относительно того, какой доверительный интервал приемлем для исследования Brand Lift или любого другого маркетингового исследования, что, скорее всего, будет зависеть от нашей цели.
Маркетологов, скорее всего, будет беспокоить фактическое влияние кампании на показатели подъема, а не единственное определение того, является ли это исследование значимым или нет. Мы хотели бы знать, следует ли нам продолжать инвестировать в конкретную кампанию, поскольку мы, скорее всего, создадим сценарии бюджета для достижения конкретной цели по привлечению пользователей. Для этого нам нужен (известный) уровень уверенности, который позволяет создавать сценарии бюджета, включая, среди прочего, затраты на привлеченных пользователей и новых привлеченных пользователей.
В большинстве исследований эта ситуация обычно решается путем предоставления p-значения, которое позволяет читателю определить свою терпимость при принятии или отклонении гипотезы.
Обратная связь
Что вы думаете по этому поводу? Какие уровни значимости вы используете в таких маркетинговых исследованиях? Вы считаете это актуальным?
