Почему в экспериментах Google Analytics вероятность превзойти оригинал противоречит коэффициенту конверсии?

Вариант 1 и вариант 5 (см. ниже) имеют более низкие коэффициенты конверсии, чем оригинал, но оба они помечены как скорее превзошедшие оригинал.

Я вижу ошибку? Если нет, может ли кто-нибудь пролить свет на то, как рассчитывается это значение Вероятность превзойти оригинал? Спасибо.

Исходный
2071 экспериментальный сеанс
1055 конверсий
50,94 % Коэффициент конверсии
0 % по сравнению с исходным
0,0 % Вероятность превзойти исходный

Вариант 2
1028 экспериментальных сеансов
541 конверсия
52,63 % Коэффициент конверсии
3 % по сравнению с исходным
69,2 % Вероятность превзойти исходный< бр/>

Вариант 4
1786 экспериментальных сеансов
914 конверсий
51,18 % Коэффициент конверсии
0 % по сравнению с исходным
61,7 % Вероятность превзойти исходный< бр/>

Вариант 1
523 экспериментальных сеанса
258 конверсий
Коэффициент конверсии 49,33 %
-3 % по сравнению с исходным
58,0 % Вероятность превзойти исходный

Вариант 5
837 экспериментальных сеансов
423 конверсии
Коэффициент конверсии 50,54 %
-1 % по сравнению с исходным
53,2 % Вероятность превзойти исходный

Вариант 3
517 экспериментальных сеансов
242 конверсии
Коэффициент конверсии 46,81 %
-8 % по сравнению с исходным
44,0 % Вероятность превзойти исходный


google-analytics google-experiments
person Patrick Griffith    schedule 17.04.2014    source источник
comment
Я подозреваю, что последние данные имеют больший вес, и эти варианты лучше выступление недавно.   -  person Fabricator    schedule 08.07.2014
comment
Я думаю, что это возможно, но я не вижу смысла. Посетители сегодня не более предсказуемы, чем посетители две недели назад.   -  person Patrick Griffith    schedule 09.07.2014

Ответы (1)


arrow_upward
0
arrow_downward

Это не какой-то простой или простой расчет, чтобы поставить здесь какое-то правило верховой езды. Расчет Google Experiments основан на «проблеме» Многорукого бандита.

Это концепция, описывающая любую ситуацию, в которой вы хотите провести эксперимент таким образом, чтобы максимизировать свое вознаграждение.

Полное описание доступно в документации Google — здесь: https://support.google.com/analytics/answer/2844870?hl=en

Эксперименты, основанные на многоруких бандитах, обычно намного эффективнее, чем «классические» эксперименты AB, основанные на проверке статистических гипотез. Они так же статистически достоверны, и во многих случаях они могут дать ответы гораздо быстрее.

Они более эффективны, потому что постепенно направляют трафик к выигрышным вариантам, а не заставляют вас ждать «окончательного ответа» в конце эксперимента.

Они быстрее, потому что сэмплы, которые ушли бы в заведомо худшие вариации, могут быть отнесены к потенциальным победителям. Дополнительные данные, собранные по высокоэффективным вариантам, могут помочь быстрее отделить «хорошие» руки от «лучших».

Пример расчета приведен здесь: https://support.google.com/analytics/answer/2846882

Я надеюсь, что это поможет вам лучше понять, как Google вычисляет победителя.

person krzysztof    schedule 04.08.2017