Публикации по теме 'ab-testing'
AB-тестирование: правило Байеса и вероятностный обзор (1)
Раздел обзора
считайте это разминкой основы вероятности, правило Байеса Простые задачи на упражнения Оценка максимального правдоподобия оценить частотность против байесовской Предельные распределения: p(A), p(B) Совместное распределение: p(A,B) → с этим расст. мы можем рассчитать все остальное Условное распределение: p(A|B), p(B|A)
В. Как можно найти предельное распределение с учетом сустава?
В. от условного к условному?
когда дело доходит до непрерывных..
Повышение эффективности экспериментов с новыми пользователями
Введение
A/B-тестирование — ценный инструмент, используемый многими компаниями, включая SmartNews, для оптимизации своих продуктов. Путем случайного распределения пользователей по контрольной и лечебной группам этот метод позволяет нам сравнивать различные версии функций и измерять их влияние. Однако, когда разница между тестовой и контрольной группами, известная как размер эффекта, невелика, может возникнуть проблема с обнаружением статистически значимых результатов из-за низкой мощности..
Экспериментируйте, не спорьте!
Спорить не обсуждают!
Обсуждение и сотрудничество - ключевые элементы успеха любого серьезного ИТ-начинания. Когда команды работают вместе над разработкой программного обеспечения, возникает потребность во множестве точек зрения и мнений, что требует обсуждения таких вещей, как выбор дизайна, архитектура, пользовательский интерфейс и даже особенности реализации.
Важно не допускать, чтобы такие обсуждения превратились в бесполезные аргументы. Вместо того, чтобы зацикливаться на..
[AB-тестирование] Bootstrap для AB-тестирования
В этой статье мы рассмотрим, как оценить стандартное отклонение, построить доверительные интервалы и проверить гипотезы с помощью начальной загрузки. Мы узнаем, когда необходима начальная загрузка и каковы ее ограничения.
Метрики и точность их оценки
Представим, что мы работаем аналитиками в службе доставки интернет-магазина. Нам поставили задачу оценить, насколько быстро мы выполняем заказы. У нас есть данные о времени выполнения каждого заказа, и теперь нам нужно выбрать метрику и..
Сравнение алгоритмов многорукого бандита в маркетинговых сценариях использования
A / B-тестирование - стандартный шаг в маркетинговом процессе многих компаний, занимающихся электронной коммерцией. С помощью хорошо разработанных A / B-тестов маркетологи могут получить представление о том, где и как максимизировать свои маркетинговые усилия и провести успешную кампанию. Однако с практической точки зрения стандартные A / B-тесты оставляют деньги на столе по сравнению с более продвинутыми подходами к машинному обучению.
В этом посте мы обсудим текущее состояние A /..
Как использовать контрфактическую оценку для приблизительных результатов онлайн-теста AB
Вступление
В этой статье я объясню принципиальный подход к оценке ожидаемой производительности модели в онлайн-тесте AB с использованием только автономных данных. Это очень полезно, чтобы помочь решить, какой набор улучшений модели должен быть приоритетным для проверки с помощью онлайн-теста AB.
Весь код для воспроизведения рисунков в этой статье можно найти здесь .
Мотивация
Представьте, что вы работаете на сайте электронной коммерции и получили задание создать алгоритм, который..
Причинный вывод, отличный от A / B-тестирования: теория и практическое руководство
Несомненно, рандомизированное экспериментирование (при условии, что оно проводится правильно) - самый простой способ установить причинно-следственную связь (см. Мою предыдущую статью о сборнике учебных материалов по A / B-тестированию !). Однако с практической точки зрения бывают случаи, когда экспериментирование нецелесообразно:
Вы имеете дело с данными ретроспективного вмешательства, для которых нет контрольной или тестовой группы, возможно, из-за высокой стоимости экспериментов...
