Публикации по теме 'experimentation'
A/B-тестирование против многоруких бандитов
Это быстро переросло в ограбление A/B-тестирования.
В моей предыдущей статье я указал на многочисленные недостатки A/B-тестирования, когда речь идет о фиксированных размерах выборки, медленном обучении и недостаточной информации, которую вы получаете от A/B-тестирования (если только аналитик данных не потратит огромное количество время вручную анализируя результат).
Общий фон (не беспокойтесь, мы углубимся в детали позже)
По сути, A/B-тестирование — это метод исследования, при..
Использование симуляционных исследований для мотивации решений по моделированию
Имитационное моделирование — это компьютерные эксперименты, в ходе которых данные создаются путем псевдослучайной выборки. Использование симуляционных исследований может помочь вам принимать более обоснованные решения при выборе статистических моделей.
Ученые и аналитики данных постоянно принимают решения о том, какие статистические модели использовать. Будь то предсказательный или причинный, вариантов предостаточно. Эта статья посвящена использованию симуляционных исследований для..
Повышение эффективности экспериментов с новыми пользователями
Введение
A/B-тестирование — ценный инструмент, используемый многими компаниями, включая SmartNews, для оптимизации своих продуктов. Путем случайного распределения пользователей по контрольной и лечебной группам этот метод позволяет нам сравнивать различные версии функций и измерять их влияние. Однако, когда разница между тестовой и контрольной группами, известная как размер эффекта, невелика, может возникнуть проблема с обнаружением статистически значимых результатов из-за низкой мощности..
[AB-тестирование] Bootstrap для AB-тестирования
В этой статье мы рассмотрим, как оценить стандартное отклонение, построить доверительные интервалы и проверить гипотезы с помощью начальной загрузки. Мы узнаем, когда необходима начальная загрузка и каковы ее ограничения.
Метрики и точность их оценки
Представим, что мы работаем аналитиками в службе доставки интернет-магазина. Нам поставили задачу оценить, насколько быстро мы выполняем заказы. У нас есть данные о времени выполнения каждого заказа, и теперь нам нужно выбрать метрику и..
Серия «Разработка информационных продуктов» — Статья 3
Серия «Разработка продуктов данных — статья 3»
Оценка рисков и разработка продукта:
Ола! Я вернулся с последней статьей серии Применение среды разработки продукта . Для тех, кто опоздал на вечеринку, это серия из трех частей, основанная на конкретном примере применения среды разработки продукта для данной постановки задачи (ps). Чтобы ознакомиться с основами и теоретическими аспектами разработки продукта, обратитесь к (ссылка). Я бы порекомендовал вам прочитать предыдущие части..
Реализация граничных экспериментов в Opendoor
Если в какой-то момент вы захотите сразу перейти к работающему коду, он доступен здесь (и в разделе реализации).
Opendoor уже два года работает с Cloudflare Workers в производственной среде. Cloudflare Workers — это бессерверная среда выполнения, которая позволяет Javascript перехватывать, выполнять и изменять входящие запросы на уровне CDN (отличный обзор см. в Докладе Эшли Уильямс на JSConf EU). Рабочие процессы достаточно легкие, чтобы запускаться перед каждым запросом, и..
Обретение интеллекта с помощью Тьюринга
В заключительной части нашей серии статей о платформе машинного обучения Gojek мы впервые познакомимся с новой системой тестирования машинного обучения Gojek.
Это последний пост из серии о платформе машинного обучения Gojek. Если вы хотите прочитать его с самого начала, начните здесь. 👇
Введение в платформу машинного обучения Gojek Общие проблемы, связанные с наукой о данных, и то, как наша платформа машинного обучения стремится их решать...
