Сегодня я столкнулся с какой-то странной вещью в Google Analytics. Один из моих экспериментов закончился с вероятностью превзойти оригинал 94,7 % и превзойти оригинал на 52 % и все еще со статусом «Победитель не найден».
Кто-нибудь встречался с такой ситуацией? Почему это так?
Это означает, что, хотя у вас есть версии, которые лучше, чем ваша контрольная, они не выигрывают настолько, чтобы достичь 95% доверительный интервал. Другими словами, у вас есть победитель, но он не является статистически значимым, или есть некоторая вероятность того, что результат этого теста является случайным.
Не видя количества показов и конверсий, трудно сказать что-то конкретное. Я предполагаю, что либо коэффициент конверсии для этого теста очень низкий, либо количество улучшений в победивших версиях очень мало, либо и то, и другое.
У вас есть несколько вариантов дальнейших действий.
В любом случае, я бы закончил текущий тест. На данный момент нет ничего, что можно было бы получить, позволяя ему работать дольше.
