Распространение убеждений и причинно-следственный вывод — это две взаимосвязанные концепции, возникшие в разных областях исследования: эконометрике и искусственном интеллекте. Со времени «коннекционистской революции» середины 1980-х годов исследователи пытались понять, как каузальные убеждения распространяются через реальные или воображаемые сети. Эти идеи произвели революцию как в информатике, так и в экономике, сначала по отдельности, но все чаще в тесном, хотя и не всегда гармоничном контакте, со статистикой в ​​качестве языка-посредника.

В этом небольшом историческом справочнике я сосредоточусь на вкладе четырех влиятельных фигур: тюрингианца Джуди Перла (Калифорнийский университет в Лос-Анджелесе) и Майкла И. Джордана (Калифорнийский университет в Беркли) в области компьютерных наук, а также нобелевского лауреата Гвидо Имбенса и Сьюзан Эти. (оба в Стэнфорде) по эконометрике.

Я предлагаю общий взгляд на это иногда спорное, но в конечном итоге плодотворное и всегда увлекательное двойное развитие. Не случайно местом этого развития является Калифорния.

В середине 1980-х годов введение скрытого слоя в архитектуре нейронных сетей стимулировало коннекционистскую революцию, сосредоточенную вокруг PDP-Group Дэвида Румельхарта и Джея Макклелланда в Калифорнийском университете в Сан-Диего. В связи с этим изобретением почти сразу же возник вопрос: имели ли параметризации этих скрытых слоев какой-либо смысл, или же они были просто непостижимыми вычислительными устройствами, помогавшими нейронным сетям выйти за рамки проблемы XOR, которая привела к их первой Зима, вызванная >перцептронами.

В то время общепринятой реакцией было то, что введение скрытого слоя узлов было компромиссом, который повышал предсказуемость за счет интерпретируемости, и первоначальный результат заключался в том, что эти сети второго поколения почти неизбежно использовались в качестве эвристических машин вывода для почти неразрешимые проблемы, где самоанализ не имел большого значения, пока машина давала хоть сколько-нибудь полезный ответ.

Но даже на этом этапе первые исследователи начали задаваться вопросом, можем ли мы наполнить эти скрытые слои смыслом, или наоборот: можем ли мы разработать более сложные причинные структуры, в которых наблюдаемые состояния позволяют нам делать выводы о скрытой внутренней структуре?

Распространение убеждений, основанное на теории графов и байесовском выводе, предлагало средства для эффективного обновления весов сети и распространения информации через несколько слоев. Этот подход заимствовал идеи из передачи сообщений в графических моделях, позволяя нейронным сетям итеративно уточнять свои внутренние представления.

Но распространение убеждений не только способствовало обучению все более сложных сетей, но и предлагало теоретическую основу для рассуждений о динамике обучения в глубоких, частично скрытых причинных структурах, «как если бы» они были нейронными сетями.

Используя статистику в качестве общего языка, две группы ученых попытались разгадать загадку с противоположных концов.

Перспектива компьютерных наук: Джудея Перл и Майкл И. Джордан

Джудея Перл и Майкл И. Джордан сыграли важную роль в продвижении понятий распространения убеждений и причинно-следственных связей с точки зрения информатики и искусственного интеллекта. Их вклад создал формальный и графический язык для выражения причинно-следственных связей и распространения убеждений в сложных системах.

Джудея Перл широко известна как пионер графических моделей и причинно-следственных выводов в искусственном интеллекте. Его введение байесовских сетей и причинно-следственных байесовских сетей обеспечивает структурированный подход к представлению и рассуждению о неопределенном знании и причинности.

Работа Перла заложила основу для алгоритмов распространения убеждений, которые позволяют эффективно вычислять вероятности в графических моделях. Его разработка формализма «до-исчисления» произвела революцию в изучении причинности, позволив исследователям рассуждать о вмешательствах и контрфактах, используя графические модели.

Исследование Майкла И. Джордана расширяет взгляд ИИ на распространение убеждений и причинно-следственные связи. Он внес значительный вклад в вероятностное моделирование, машинное обучение и теорию информации, включая введение скрытого распределения Дирихле, которое позволяет нам структурировать большие объемы знаний по темам.

Работа Джордана подчеркивает важность сочетания статистических рассуждений с эффективностью вычислений. Его исследования вариационных методов и методов приближенного вывода повышают масштабируемость алгоритмов распространения убеждений в крупномасштабных приложениях.

Эконометрический взгляд: Гвидо Имбенс и Сьюзен Этей

Причинно-следственный вывод, краеугольный камень эконометрики, направлен на установление причинно-следственных связей между переменными с использованием данных наблюдений или экспериментов. Экономическая «властная пара» Гвидо Имбенс и Сьюзан Ати — ключевые фигуры в этой сфере, известные своим вкладом в решение проблем оценки причинно-следственных связей.

Гвидо Имбенс сыграл ключевую роль в разработке методологий причинного вывода. Его работа над структурой потенциальных результатов Дональда Рубина предлагает систематический способ размышления о причинно-следственной связи в наблюдательных исследованиях и рандомизированных экспериментах.

В докладах Имбенса подчеркивается важность рассмотрения контрфактов: что бы произошло, если бы было применено другое лечение? Его работа сыграла важную роль в преодолении разрыва между эконометрикой и статистикой, оказав влияние на исследования не только в экономике, но и в различных других областях.

Работа Сьюзан Эти еще больше обогащает эконометрический взгляд на причинный вывод. Ее вклад лежит на стыке экономики, машинного обучения и статистики. Исследование Эйти затрагивает вопросы, связанные с оценкой политики, онлайн-платформами и машинным обучением в экономике.

Ее сотрудничество с ее мужем Гвидо Имбенсом в теме Методы машинного обучения для оценки гетерогенных причинных эффектов демонстрирует возможности сочетания методов машинного обучения с традиционными эконометрическими методами для повышения точности и применимости причинно-следственных связей.

Сравнение и противопоставление точек зрения

Хотя и эконометрика, и информатика/искусственный интеллект имеют общий интерес к причинно-следственным выводам и распространению убеждений, они подходят к этим концепциям с разных точек зрения.

Эконометрический подход часто фокусируется на оценке причинных эффектов с использованием реальных данных, решении проблем, связанных с предвзятостью отбора, эндогенностью и ненаблюдаемым смешиванием.

С другой стороны, подход ИИ склоняется к формальному представлению и манипулированию причинно-следственными связями с использованием графических моделей и эффективных алгоритмов вероятностного рассуждения.

Творческое напряжение между этими двумя точками зрения привело к богатому обмену идеями. Методы информатики, такие как алгоритмы распространения убеждений, нашли применение в эконометрических условиях для решения сложных проблем причинного вывода.

И наоборот, эконометрические методологии вдохновили на разработку более интерпретируемых и применимых инструментов причинно-следственных рассуждений в ИИ.

Несмотря на все оставшиеся разногласия, то, что поля наконец-то заговорили друг с другом, стало заметным шагом в правильном направлении.

Распространение убеждений и причинно-следственные выводы являются фундаментальными концепциями, которые нашли применение как в эконометрике, так и в информатике/искусственном интеллекте.

Не игнорируя важность других пионеров, работы Джуди Перла, Майкла И. Джордана, Гвидо Имбенса и Сьюзен Ати сформировали эволюцию этих концепций и их применение в различных областях.

Понимая истоки и нюансы этих точек зрения, исследователи могут использовать богатое междисциплинарное наследие для решения сложных проблем, связанных с причинностью и распространением убеждений.

Оливер Беж (доктор философии Калифорнийского университета в Беркли, MSIE Университета Карлсруэ) — промышленный инженер и экономист, работающий на стыке теории игр, теории графов, машинного обучения и распространения убеждений для разработки фундаментальной модели экономической организации. .