Пошаговое руководство по разработке экспериментов

Специалисты в области науки о данных, сталкивались ли вы когда-нибудь с какой-либо из следующих проблем?

История 1. Машинное обучение - это не экспериментальный дизайн

Вас просят разработать эксперимент из-за вашего опыта в статистике, но вы поняли, что ваши инструменты машинного обучения не помогают вам разработать эксперимент.

История 2: данные наблюдений нельзя повторить

Ваша команда наблюдала за тенденцией продаж, связанной с несколькими факторами. Ваша команда хотела предложить новые бизнес-стратегии. Но команда не может выбрать правильные факторы для воспроизведения процесса.

История 3. Корреляция - это не причинно-следственная связь

Ваша команда определила сильную корреляцию между двумя факторами и предложила план изменения бизнеса. Ваша команда заручилась поддержкой клиентов для реализации бизнес-предложения в многообещающем пилотном тесте. После периода тестирования вы не получили заявленных результатов.

Если это так, возможно, вы совершили ошибку, используя корреляцию для доказательства причинной связи. В своем посте Машинное обучение или эконометрика? Я поделился, что многие аналитические вопросы касаются причинно-следственной связи. Эти причинно-следственные вопросы требуют схемы генерации данных и не могут быть выведены из больших данных. Сегодня расхождение между машинным обучением и статистическими экспериментами, похоже, сливается в единое целое в области науки о больших данных. Тем не менее, эти две различные дисциплины могут и должны взаимодействовать друг с другом для решения множества бизнес-инициатив.

Использование Плана экспериментов (DoE) - правильный путь. Планирование экспериментов практикуется на производстве, в клинических испытаниях или в больницах на протяжении десятилетий. В этом посте я расскажу вам, как создать успешную DoE, которая приведет к вашему управлению изменениями. Я воспользуюсь операцией обслуживания в банковской сфере, чтобы представить мышление DoE.

Что такое план экспериментов (DoE)?

Дизайн экспериментов - это соответствующее планирование, проведение, анализ и интерпретация контролируемых тестов для оценки факторов, влияющих на результат.

Каковы преимущества DoE?

Планирование экспериментов может действительно выявить причинно-следственные связи. Результаты позволяют предлагать действенные стратегии для управления изменениями. DoE менее затратный по своей природе. Он использует статистику для определения минимального размера выборки для эффективного результата теста. Вы можете иметь дело с несколькими входными факторами одновременно и определять важные взаимодействия, которые могут быть упущены.

Как это работает?

У DoE есть проверенная процедура, состоящая из следующих семи шагов. Во-первых, какова цель? Вы должны определить размер для целей. Во-вторых, что тестировать? Вы определите факторы для теста. В-третьих, как проводить? вы определите способ проведения и измерения. В-четвертых, как измерить? Вы выберете правильный статистический анализ. В-пятых, будут ли результаты достоверными? Вы определите необходимый размер выборки. В-шестых, как анализировать данные? Примените статистический анализ. В-седьмых, что дальше? Затем с помощью статистического анализа вы делаете выводы и действия.

Пример из практики: DoE для операции обслуживания в банковской сфере

Ниже приведен успешный пример того, как DoE руководил управлением изменениями.

Розничному банку нужно было заново изобрести процесс подачи заявки на открытие счета. Несмотря на то, что онлайн-приложение было доступно, все еще существовала потребность в автономных приложениях. В банке был высокий процент незавершенных заявок, которые требовали повторной обработки заявок. Работа по повторной обработке также замедлила другие операции и привела к общей неэффективности. Банку необходимо было реализовать правильное изменение действий, чтобы исключить отходы при повторной переработке.

Шаг 1: Определите меры для достижения целей

Поддающаяся количественной оценке цель всегда является отправной точкой. Команда проекта решила, что процент выполненных заявок является целевым. Команда исключила другие интересные, но менее несущественные меры, такие как средняя сумма депозита.

Шаг 2: Определите факторы для теста

Команда проекта заподозрила четыре фактора, которые могут повлиять на завершение заявки. И команда разработала два уровня для каждого из четырех факторов: (i) тип заявки (ссудный счет или сберегательный счет), (ii) местонахождение филиала (Средний Запад и Северо-Восток), (iii) инструкция формы заявки ( Средний или высокий уровень описания), и (iv) с примером или без него.

Шаг 3. Определите способ поведения и измерения

Эксперимент проводился в двух филиалах в течение двух месяцев. Самостоятельно заполняемые формы заявок продолжали отображаться на стойках регистрации, поэтому способ их отображения не изменился. В каждом месте был только один тип анкет. Различные комбинации факторов перечислены в таблице (A).

Шаг 4: выберите правильный статистический анализ

Команде проекта необходимо было понять влияние всех возможных комбинаций уровней факторов. Пример (A) называется полным факторным планом. Такой эксперимент позволяет исследователю изучить влияние каждого фактора на целевую переменную, а также влияние взаимодействий между факторами на целевую переменную.

Шаг 5: Определите требуемый размер выборки

Как определить минимальный размер выборки для факторного анализа? Это сложный вопрос, потому что он зависит не только от количества факторов, но также от нагрузки или коэффициента каждого фактора. Как поясняется в Исследовательском и подтверждающем факторном анализе (Брюс Томпсон, 2004), если в факторе более четырех уровней, а коэффициент каждого уровня меньше 0,60, то N = 60 будет адекватным. Если в факторе более десяти уровней и коэффициент каждого уровня составляет около 0,40, то размер выборки должен быть не менее 150. Любой размер выборки более 300 считается адекватным. Команда проекта решила собрать не менее 300 заявок по каждой комбинации факторов.

Шаг 6: Проведите статистический анализ

Целью проекта было определить, какая комбинация факторов показывает наивысшее среднее значение со статистической значимостью. «Статистическая значимость» была ключевой, означая, что разница была достаточно значительной, чтобы гарантировать воспроизводимость в следующий раз. Команда использовала метод под названием ANOVA (ANalysis Of VAriance), который сравнивал «Сред. % Завершения », чтобы проверить, была ли разница статистически значимой.

Приложение (B) показывает различия для каждого из пяти факторов. Только разница в «Описание» и «Пример» является статистически значимой с уровнем достоверности 95%. Это означает, что высокий уровень описания и примера в форме заявки приведет к высокой степени заполнения.

Один фактор может повлиять на другой фактор. Это фиксируется взаимодействием между факторами. Ожидалось, что «пример» в форме заявки снизит процент завершения на Среднем Западе, но увеличит процент завершения на Северо-Востоке.

Шаг 7: выводы и действенные стратегии

Основываясь на этих результатах, команда проекта разработала несколько действенных стратегий:

  • Одна и та же форма заявки для двух типов счетов
  • Предоставление дополнительных описаний
  • Предоставление одного примера в форме заявки для Северо-Восточного региона, но без примера для Среднего Запада.

Новые формы заявок увеличили процент заполнения с 60% до более чем 95%. Это изменение значительно сократило время нанесения и устранило время обработки.

Здесь стоит отметить, что в серии статей «Выявление причинно-следственной связи» я освещаю эконометрические методы, разработанные для выявления причинно-следственной связи. Эти статьи охватывают прерывание регрессии, различие в различиях, анализ панельных данных и рандомизированное контролируемое испытание с факторным дизайном:

Вы также можете добавить закладку Учебные программы Dataman - развивайте свои навыки, продвигайте свою карьеру, чтобы узнать больше.