Расчет результатов теста AB

У меня есть веб-страница, на которой пользователям показывают набор продуктов, и они выражают интерес к продуктам, которые им нравятся, выбирая их.

Я провожу эксперимент AB, чтобы протестировать две версии этой страницы, каждая из которых показывает другой набор продуктов. Метрика, которую я тестирую в этом эксперименте, — это количество продуктов, выбранных пользователями.

Все ресурсы, которые я нашел в тестировании AB, предполагали модель «испытаний и конверсий», где есть X испытаний и из этих испытаний происходит Y число конверсий. В этой модели Y ‹= X.

В моем случае у меня есть X = # показов страницы и Y = # продуктов, выбранных на этой странице, где Y > X в некоторых случаях. Как я могу определить, какая версия работает лучше в этом случае?


person ielashi    schedule 05.03.2012    source источник


Ответы (1)


Для каждого варианта можно разделить общее количество объектов на количество показов. Таким образом, вы выберете вариант, который дает вам больше объектов на пользователя.

person barracel    schedule 23.11.2012
comment
Это правильно, и я делал это. Где я нахожу это сложным, так это расчет доверительных интервалов. - person ielashi; 29.11.2012