Корреляция - это не причинная связь

Корреляция - это не причинная связь

Почему смешение этих понятий имеет серьезные последствия - от здравоохранения до управления бизнесом

Вступление

В коррелированных данных пара переменных связаны между собой: одна вещь может измениться, когда изменится другая. Эти отношения могут привести нас к предположению, что изменение одной вещи вызывает изменение другой. В этой статье проясняется этот вид ошибочного мышления, объясняя корреляцию, причинно-следственную связь и предвзятость, которые часто объединяют их вместе.

Человеческий мозг упрощает поступающую информацию, чтобы мы могли ее понять. Наш мозг часто делает это, делая предположения о вещах, основываясь на незначительных отношениях или предвзятости. Но такой мыслительный процесс не является надежным. Например, мы ошибочно принимаем корреляцию за причинную связь. Предвзятость может заставить нас заключить, что одно должно вызывать другое, если и то, и другое одновременно изменяются одинаково. Эта статья проясняет неправильное представление о том, что корреляция равняется причинной связи, путем изучения обоих этих предметов и склонности человеческого мозга к предвзятости.

О корреляции и причинно-следственной связи

Корреляция - это взаимосвязь или связь между двумя переменными, когда при изменении одной, вероятно, изменится и другая. Но изменение одной переменной не вызывает изменения другой. Это корреляция, но не причинно-следственная связь. Ваш рост из ребенка во взрослого является примером. Когда ваш рост увеличился, ваша масса тоже увеличилась. Когда вы становитесь выше, вы не становитесь шире. Вместо этого по мере взросления обе переменные увеличиваются - это причинно-следственная связь.

Причинно-следственная связь в бизнесе

Допустим, мы хотим предложить акцию или скидку некоторым из наших клиентов. Наш отдел маркетинга хочет максимизировать дельту, другими словами, увеличение продаж в результате рекламной акции. Поэтому нам нужно решить, какие клиенты принесут нам максимальную отдачу от наших инвестиций в продвижение или скидку. Хотим ли мы предлагать это только нашим 10% лучших клиентов? Или нижние 10%?

Вы можете предположить, что пользователи, которые увеличивают продажи, больше ответственны за успех вашего бизнеса. Однако это предположение могло быть ошибочным. Выбор клиентов, которым будет предложена акция, может быть совершенно другим. В отсутствие достоверных экспериментов или аналитики у вас нет точных ответов на эти вопросы.

Когнитивное искажение

Существует множество форм когнитивных предубеждений или иррациональных моделей мышления, которые часто приводят к ошибочным выводам и экономическим решениям. Эти типы когнитивных предубеждений являются некоторыми причинами, по которым люди предполагают ложные причинно-следственные связи в бизнесе и маркетинге:

• Предвзятость подтверждения. Люди хотят быть правыми. Они часто не могут признать или принять свою неправоту в чем-то, даже если такое отношение в конечном итоге причиняет вред или убытки.
• Иллюзия причинности. Придание слишком большого значения вашим собственным убеждениям, чрезмерной самоуверенности и другим недоказанным источникам информации часто создает иллюзию несчастного случая. Экономическим примером является недавний пузырь на рынке жилья в США. Миллионы людей считали, что покупка дома по цене, намного превышающей его фактическую стоимость, по-прежнему будет приводить к окупаемости инвестиций только потому, что это произошло в прошлом.
• Деньги. Вы хотите продавать свой продукт. Вы можете потратить на маркетинг и другие бизнес-расходы больше, чем ваша рентабельность инвестиций (ROI), если желание заработать затуманивает вашу логику.
• Основные маркетинговые последствия. Маркетинговая статистика и данные часто бывают сложными и запутанными. При отсутствии причинно-следственной связи легко увидеть взаимосвязь между изменением показателей продаж и многими другими переменными в вашем бизнесе.

Экспериментирование

Чтобы понять, что что-то ценно, нужно экспериментировать. Экспериментирование помогает понять, правильно ли вы делаете выбор. Но у этого есть цена. Если вы сдерживаете рабочую группу, не предоставляя ей функции, которая приносит пользу, вы потеряете деньги. Но вы поймете важность этой функции.

Ценность эксперимента заключается в выполнении этих двух вещей:

• Сделайте выбор между разными вариантами.
• Определите ценность лучшего выбора.

Экспериментальные переменные

Научно обоснованный эксперимент должен иметь три типа переменных: контролируемые, независимые и зависимые:

• Управляемая переменная остается постоянной, поэтому другие переменные, которые изменяются по отношению друг к другу, могут быть измерены в статической среде.
• Можно изменить только независимую переменную эксперимента.
• Зависимые переменные - это результаты, которые наблюдаются при изменении независимых переменных.

Любые неконтролируемые переменные или переменные-посредники могут снизить точность эксперимента. Поэтому их необходимо выявить и устранить, чтобы правильно оценить результаты эксперимента. Различия в неконтролируемых переменных также могут влиять на отношения между независимыми и зависимыми переменными.

Неконтролируемые переменные добавляют влияние посторонних факторов к результатам эксперимента. Можно предположить корреляции и сформировать гипотезу там, где ее нет. Точный анализ становится затруднительным или невозможным. Примеры выводов, сделанных на основе неконтролируемых переменных, показаны на уроках музыки для детей и в примерах рака мобильного телефона, которые следуют ниже.

Как наш мозг обманывает нас

Легко наблюдать за изменением коррелированных данных в тандеме и предполагать, что одно вызывает другое. Это потому, что наш мозг запрограммирован на когнитивные искажения причинно-следственной связи. Нам нужно разбираться в больших объемах входящих данных, поэтому наш мозг упрощает их. Этот процесс называется эвристикой, и он часто бывает полезным и точным. Но не всегда. Пример ошибочной эвристики - это когда вы считаете, что корреляция подразумевает причинно-следственную связь.

Ложные корреляции

Это математическая взаимосвязь, в которой два или более события или переменных связаны, но не связаны причинно из-за совпадения или наличия определенного третьего, невидимого фактора.

Дети и уроки музыки

После изучения развития человеческого мозга исследователи пришли к выводу, что дети в возрасте от 4 до 6 лет, которые брали уроки музыки, показали доказательства ускоренного развития мозга в областях, связанных с памятью и вниманием. Основываясь на этом исследовании, наш предвзятый мозг может быстро соединить точки и сделать вывод, что уроки музыки улучшают развитие мозга. Но есть и другие переменные, которые следует учитывать. То, что дети брали уроки музыки, - показатель достатка. Так что у них, вероятно, был доступ к другим ресурсам, которые, как известно, способствуют развитию мозга, например, к правильному питанию.

Суть этого примера в том, что исследователи не могут предположить, основываясь только на таком большом количестве данных, что уроки музыки влияют на развитие мозга. Да, корреляция очевидна, но фактических доказательств причинно-следственной связи нет. Нам нужно больше данных, чтобы получить истинное причинно-следственное объяснение.

Рак и мобильные телефоны

Если вы изучите диаграмму, которая показывает как количество случаев рака, так и количество мобильных телефонов, вы заметите, что оба числа выросли за последние 20 лет. Если ваш мозг обрабатывает эту информацию с когнитивным искажением причинно-следственной связи, вы можете решить, что мобильные телефоны вызывают рак. Но это же смешно. Нет никаких доказательств, кроме того, что обе точки данных увеличиваются. За последние 20 лет увеличилось и множество других факторов, и они не могут быть причиной рака или быть вызваны использованием мобильного телефона.

Объяснимость

Чтобы найти причинно-следственную связь, нам нужна объяснимость. В эпоху искусственного интеллекта и анализа больших данных эта тема становится все более актуальной. ИИ дают рекомендации на основе данных. Иногда люди не видят никаких причин для этих рекомендаций, кроме того, что их сделал ИИ. Другими словами, они не поддаются объяснению.

Объяснимость в медицине

FDA не будет одобрять методы лечения рака, которые не могут быть объяснены. Задумайтесь на минуту над этой ситуацией. Хотите ли вы наилучшее лечение вашего рака на основе анализа искусственным интеллектом ваших геномов, вашей ДНК рака, миллионов других случаев и других данных, даже если вы не можете объяснить, как нейронная сеть компьютера дала такие точные данные? лечение? Или вы бы предпочли неоптимальное лечение, которое вы можете объяснить причину?

Медицинская объяснимость, вероятно, будет одной из главных тем этого века.

Односторонний против двухстороннего

Корреляции идут в обоих направлениях. Мы можем сказать, что использование мобильных телефонов коррелирует с повышенным риском рака, а случаи рака коррелируют с количеством мобильных телефонов. В принципе, вы можете поменять местами корреляцию. Говоря о причинно-следственных связях, можно сказать, что новая маркетинговая кампания вызвала рост продаж. Но говорить, что рост продаж (после запуска кампании) стал причиной маркетинговой кампании, не имеет никакого смысла.

Любое причинное утверждение по определению является односторонним. Это важный ключ к разгадке того, имеете ли вы дело с корреляцией или причинно-следственной связью.

Большая дилемма

В статье «Причинно-следственный эффект образования на заработки» Дэвид Кард говорит, что лучшее образование коррелирует с более высокими заработками. Но самое важное, что он говорит, это то, что если мы не можем провести эксперимент, со всеми нашими

переменные постоянны, мы не можем вывести причинно-следственную связь из корреляции. Мы всегда можем внести объяснимость в таблицу. Но в реальной жизни и с достаточно большими проблемами трудно доказать причинно-следственные связи, основанные на объяснимости. С научной точки зрения их нельзя назвать ничем иным, как теорией.

В отсутствие экспериментальных данных очень трудно понять, вызваны ли наблюдаемые более высокие заработки более образованных работников их высшим образованием или же люди с большей способностью к заработку предпочли получить большее образование.

- Дэвид Кард, Причинное влияние образования на заработки.

Обусловливает ли более высокий заработок более высокое образование? Обеспечивает ли высшее образование более высокий потенциал заработка? Мы не знаем. Однако мы можем делать прогнозы. Мы можем использовать эту корреляцию для прогнозирования потенциального заработка человека на основе его образования. Мы также можем предсказать его образование, основываясь на его доходах.

Хорошие прогнозы основаны на корреляциях

Это звучит как противоречие, учитывая контекст этой статьи. Корреляция - это анализ статических наборов исторических данных и рассмотрение корреляций, которые могут существовать между наблюдениями и результатами. Однако прогнозы не меняют систему. Это принятие решения. Чтобы принимать решения о разработке программного обеспечения, мы должны понимать, как будет развиваться система, если вы предпримете действие или не предпримете никаких действий. Принятие решения требует случайного понимания воздействия действия.

Какие прогнозы?

Мы не делаем более точных прогнозов, развивая лучшее случайное понимание. Вместо этого нам нужно знать точные пределы методов, которые мы используем для прогнозирования, и то, что каждый метод может сделать для нас.

использованная литература

Lovestats (2019). «Мультфильмы». Блог LoveStats. Получено с lovestats.wordpress.com.

Карточка, Д. (1999). «Причинно-следственное влияние образования на заработки». Справочник по экономике труда, том 3.