Понимание поведенческой экономики может помочь специалистам по обработке данных создавать более совершенные и эффективные модели машинного обучения.

В 1975 году Герберт Саймон был награжден Премией Тьюринга Ассоциацией вычислительной техники. Эта награда, вручаемая человеку, отобранному за вклад технического характера в компьютерное сообщество, считается Нобелевской премией в области вычислений.

Саймон и со-реципиент Аллен Ньюэлл внесли основной вклад в искусственный интеллект, психологию человеческого познания и обработку списков.

Интересно отметить, что помимо его вклада в искусственный интеллект и обработку списков, он также получил признание за его вклад в человеческое познание. На первый взгляд, можно подумать, что понимание того, как люди думают, настолько далеко от информатики, насколько это возможно!

Однако есть два ключевых аргумента, объясняющих, почему человеческое познание важно для любых достижений в области информатики, и особенно искусственного интеллекта.

Подражая людям

В своей основополагающей статье 1950 года Вычислительные машины и интеллект Алан Тьюринг представил то, что стало известно как тест Тьюринга. Компьютер и человек ведут письменный диалог, и в этой имитационной игре компьютер пытается обмануть участника-человека, заставляя его думать, что он тоже человек, придумывая ответы, которые, по его мнению, мог бы сделать человек.

Одна из ключевых целей ИИ - научить компьютеры принимать решения, как люди, маркировать изображения или отвечать на вопросы. Даже если цель связана с конкретной задачей, а не сосредоточена на репликации людей в целом, крайне важно, чтобы разработчики ИИ имели некоторое понимание человеческого познания, чтобы они могли его воспроизвести.

Человеческое взаимодействие

Одно из многих современных приложений искусственного интеллекта, в частности машинного обучения, - это взаимодействие с человеком. Независимо от того, рекомендуют ли продукты для увеличения продаж или автозаполнение предложений в электронных письмах, модели машинного обучения обучены понимать, чего хотят пользователи. Однако методы, данные и показатели, используемые для разработки этих моделей, должны быть предоставлены с пониманием того, как выходные данные модели будут взаимодействовать с людьми-пользователями.

В этой статье мы сосредоточимся на взаимодействии между людьми и компьютерными моделями, чтобы понять, как поведенческую экономику можно использовать, чтобы помочь специалистам по обработке данных разрабатывать и обучать более эффективные модели машинного обучения.

Что такое поведенческая экономика?

Классическая экономика основана на предположении, что все люди ведут себя рационально, т.е. они будут принимать решение с наибольшей личной полезностью (выгодой).

Однако современные экономисты начали понимать, что люди часто ведут себя иррационально. Более того, они предсказуемо иррациональны и ведут себя одинаково иррационально каждый раз, когда принимают аналогичные решения. Поведенческая экономика - это исследование этих предсказуемо иррациональных решений, известных как когнитивные предубеждения.

Таким образом, где-то между психологией и экономикой, бихевиористы пытаются выявить и измерить с помощью экспериментов эти систематические отклонения от рационального поведения и выявить их в реальном мире.

Дэниел Канеман и Амос Тверски, которых многие считают отцами-основателями этой области, много писали о практических последствиях когнитивных предубеждений в различных областях, включая финансы, клиническое суждение и управление.

Существует несколько типов когнитивных искажений, которые специалисты по данным могут использовать для повышения эффективности своих моделей машинного обучения.

Подтверждение смещения

Предвзятость подтверждения - это склонность людей искать информацию, подтверждающую предыдущие убеждения. Это происходит потому, что люди, естественно, выбирают информацию, которая согласуется с тем, что они уже считают правдой.

В качестве крайнего примера, если вы считаете, что мир плоский, вы будете тщательно искать доказательства, независимо от того, насколько они скудны или ненадежны, которые поддерживают вашу гипотезу, и игнорируют широко доступные и надежные доказательства против нее.

Хотя он не называет это предвзятостью подтверждения, одним из первых экспериментальных примеров этого был Питер Уэйсон в 1960 году.

В своем эксперименте он предлагал испытуемым определить правило, касающееся трех последовательных чисел, обычно [2, 4, 6]. Чтобы попытаться выучить правило, им разрешалось генерировать любой набор из трех чисел, и экспериментатор сообщал им, соответствует ли это правилу.

Уэйсон обнаружил, что большинство испытуемых разработали чрезвычайно сложные правила и создали множество троек, которые соответствовали правилу. Это плохая тактика, учитывая, что вы не можете окончательно доказать правило, сколько бы комбинаций ни подтвердил экспериментатор, но вы можете опровергнуть его с помощью всего одной. Правило представляло собой простую последовательность в возрастающем порядке, и только 6 из 29 испытуемых определили его при первом предположении.

В своем Ted Talk 2011 года Эли Паризер рассказывает о том, что он называет пузырем фильтров, - феноменом Интернета, когда пользователям показывают только то, что им наиболее важно. Обычно это делается с использованием рекомендательного системного метода, называемого совместная фильтрация, где пользователям рекомендуются элементы, основанные на том, с чем взаимодействовали другие люди, похожие на них (я буду использовать взаимодействовал как общий термин для нажатых, просмотренных, купленных и т. Д.) .

В результате вам будет показано больше того, с чем вы уже взаимодействовали. Если вы обычно читаете консервативные новостные статьи, вам будут показывать больше консервативных новостных статей; если вы смотрите боевики, вам порекомендуют другие боевики.

Однако Паризер отмечает, что это изолирует людей от разнообразной информации и мнений, запирая их в пузыре фильтров, о котором они даже не подозревают. Это усиливает предвзятость подтверждения, поскольку пользователь не только ищет информацию, подтверждающую его убеждения, но и все, что ему доступно.

Здесь есть две основные проблемы. Во-первых, есть этические проблемы с предоставлением пользователям, неосознанно, предвзятого контента. Людям становится все труднее формировать более всесторонние мнения из-за наличия хорошо сбалансированных источников информации. По словам Паризера,

«Опасность этих фильтров состоит в том, что вы думаете, что получаете репрезентативное представление о мире, но на самом деле это не так, и вы этого не знаете».

Вторая проблема - целостная эффективность рекомендательных систем. Я люблю виски, поэтому, когда я смотрю любую из своих социальных сетей, там полно продавцов виски в Интернете. Я тогда пойду покупать виски? да.

Так почему это так плохо?

Ну, потому что я люблю виски, и даже без рекламы я буду искать в Интернете интересные бутылки и, вероятно, все равно куплю.

Обе эти проблемы, этичность и эффективность, могут быть решены путем внесения элемента изменения в рекомендуемые пункты. Возможно, республиканский ответ на статью или бутылку джина, которая нравится любителям виски.

Как это может быть сделано? Простой метод - включить штрафные термины в алгоритмы сходства. Это довольно хорошо решает этические проблемы.

Однако для повышения эффективности модели может помочь изменение точки зрения при обучении. Вместо того, чтобы измерять производительность модели по количеству рекомендованных элементов, с которыми взаимодействуют, попробуйте измерить , на сколько дополнительных элементов покупается больше, чем было бы без рекомендаций.

Без понимания предвзятости подтверждения, специалисты по данным вряд ли поймут, что происходит явление пузыря фильтра, не говоря уже о том, как попытаться смягчить его.

Смещение доступности

Смещение доступности возникает, когда люди полагаются на информацию, которая им наиболее доступна, как правило, на более свежую информацию.

В эксперименте Тверски и Канеман показали участникам список из 19 известных мужчин и 20 менее известных женщин или 19 известных женщин и 20 менее известных мужчин. Участники, как правило, могли вспомнить больше известного пола, чем менее известного пола, и подсчитали, что список известного пола длиннее, чем список менее известного пола.

Канеман и Тверски утверждали, что это было вызвано предвзятым отношением к доступности. Несмотря на плохую эвристику для оценки вероятности, участники использовали количество знаменитостей, более доступных им, как оценку общего числа. Поскольку они могли вспомнить больше известных знаменитостей, они подсчитали, что это был более длинный список.

При обучении моделей машинного обучения смещение доступности часто может вызывать смещение данных. Если для обучения модели используются только наиболее доступные данные, они могут содержать внутреннюю систематическую ошибку.

Хорошо известный пример - гендерная предвзятость в машинном переводе. Это может произойти при переводе с гендерно-нейтральных языков на гендерно-нейтральные. Например, он и она в английском языке переводятся как местоимение о в турецком языке.

Люди начали замечать, что это создало гендерные предубеждения в переводе Google, например, перевод o bir doktor на он врач и o bir hemşire на она медсестра. Это произошло из-за присущей им систематической ошибки в данных по обучению, поскольку исторически больше мужчин были врачами, а женщины - медсестрами.

Это является следствием предвзятости доступности, когда специалисты по данным брали доступные им данные, не задумываясь о том, сможет ли это создать наиболее эффективную модель.

Чтобы смягчить эту предвзятость, специалистам по обработке данных необходимо изменить свое мышление с «Как я могу создать свою модель, используя имеющиеся у меня данные?» к:

«Какие данные мне нужны для создания моей модели?»

В приведенном выше примере решением Google было создание нового набора данных, содержащего запросы, помеченные как мужские, женские или гендерно-нейтральные, которые они использовали для обучения своей модели. Думая за пределами того, что им было доступно сразу, они смогли создать гораздо более эффективную модель машинного обучения.

Предвзятое отношение к выживанию

В 1943 году, во время Второй мировой войны, американские военные изучили повреждения, нанесенные самолетами, и решили укрепить наиболее часто поврежденные районы, чтобы уменьшить потери бомбардировщиков.

Однако статистик Абрахам Вальд понял, что наиболее пострадавшие районы были наименее уязвимыми, поскольку эти самолеты смогли вернуться на базу; вместо этого следует укрепить участки с наименьшим повреждением, поскольку отсутствие повреждений указывало на то, что рубанок, поврежденный в этих областях, продолжил крушение.

Предубеждение в отношении выживаемости - это тип предвзятости в отношении доступности, но вместо того, чтобы сосредоточиться на наиболее доступной информации, люди сосредотачиваются на наиболее видимой информации, обычно потому, что она прошла через некоторый процесс отбора.

Приведенная выше история преподает очень важный урок об ограничениях науки о данных. Иногда всех имеющихся данных все же недостаточно для создания хорошей модели. То, что недоступно, может быть не менее важным.

К сожалению, это часто означает, что модели машинного обучения могут быть запущены в производство до того, как разработчики данных поймут, что они не работают.

Понимание этого ограничения чрезвычайно важно, чтобы не тратить зря время и деньги. Простое решение - включить экспертов в области разработки машинного обучения и сбора данных. Эти эксперты смогут выявлять проблемы, относящиеся к предметной области, которые нельзя увидеть из данных без дополнительного контекста.

Якорь

Якорение возникает, когда человек слишком сильно полагается на информацию, которую он уже получил. Все будущие решения и суждения затем принимаются с использованием этой информации в качестве якоря, даже если она может быть неуместной.

В статье 1974 года, опубликованной в журнале Science, Канеман и Тверски описывают эксперимент, в котором они вращали на глазах у участников фальшивое колесо фортуны. Колесо могло приземлиться либо на 10, либо на 65. Затем участников попросили оценить общее количество африканских стран в Организации Объединенных Наций.

Группа, которая видела, как колесо приземлилось, в среднем оценила 25 стран. С другой стороны, те, кто видел это колесо, приземлились в 65 странах, в среднем, в 45 странах. И это несмотря на то, что участники считали колесо совершенно случайным.

После того, как людям был предоставлен якорь, они используют его как отправную точку для принятия любого решения. В приведенных выше экспериментах те, кто видел 10 на колесе, подсознательно использовали 10 в качестве отправной точки для определения числа африканских стран в ООН. Затем они увеличивали число до тех пор, пока не были довольны своей оценкой.

Учитывая, что большинство людей не уверены на сто процентов в каждом принимаемом ими решении, существует окно неопределенности, а это означает, что если вы приблизитесь к оценке с двух разных направлений, вы можете получить совершенно разные оценки по обе стороны окна. .

Привязка может быть особенно важным фактором при создании наборов обучающих данных для моделей машинного обучения. Эти наборы данных часто создаются, когда людям поручают вручную маркировать данные, исходя из их собственных суждений. Поскольку во многих случаях машинное обучение преследует цель воспроизвести процесс принятия решений человеком, это часто является наиболее точным, если не единственным, способом создания набора данных с «достоверной информацией».

Это может быть довольно просто, если вы помечаете изображения кошек или собак. Но представьте, что вы попросили группу экспертов по недвижимости оценить стоимость домов. Если первый дом, который вы им покажете, представляет собой особняк стоимостью в несколько миллионов долларов, последующие оценки, вероятно, будут намного выше, чем если бы вы начали с ветхого бунгало.

Результатом этого может быть модель машинного обучения, которая постоянно завышает или занижает цены на дома не потому, что модель работает плохо, а потому, что данные смещены. На самом деле, вполне вероятно, что специалист по обработке данных не заметит плохую производительность, поскольку набор данных для валидации был бы помечен таким же образом, поэтому он будет содержать такую ​​же систематическую ошибку.

Есть несколько способов смягчить эффект якоря. Первый - намеренно показать участникам конкретные исходные данные. Это может быть серия домов средней ценовой категории. В качестве альтернативы, это может быть набор примеров из трех домов с низкой, средней и высокой ценой вместе с этими ценниками.

В обоих случаях привязка не снижается, а настраивается намеренно, чтобы избежать предвзятости. С другой стороны, для предотвращения привязки каждая точка данных может быть помечена несколькими участниками, при этом в качестве окончательной метки принимается среднее значение. Каждый участник получит случайную выборку точек данных в случайном порядке, чтобы среднее значение нейтрализовало любые индивидуальные предубеждения.

Последние мысли

Когнитивная предвзятость - неизбежное явление при принятии решений человеком. Однако исследования за последние полдесятилетия показали нам, что эти иррациональные решения предсказуемы, и эту предсказуемость можно использовать для смягчения их последствий.

Хотя модели машинного обучения сами по себе не могут иметь когнитивных предубеждений, они могут иметь предубеждения как результат когнитивных предубеждений, поскольку они служат интерфейсом для принятия решений человеком.

Независимо от того, гарантируя ли отсутствие предвзятости в вводимых данных, или принимая во внимание предвзятость людей, использующих передаваемые данные, специалистам по обработке данных необходимо учитывать принятие решений человеком.

Без этих соображений мы увидели, как модели могут быть неэффективными или даже ошибочными. И мы можем даже не знать, что это происходит.