Обзор справедливости машинного обучения

Эта статья знакомит с принципом справедливости машинного обучения, чтобы дать читателю представление о проблеме в целом. Честно говоря, это исследование окрашено моим собственным предвзятым пониманием этой области. Моя цель здесь - прежде всего задавать правильные вопросы. Это обширная область, и когда она кажется важной, я даю ссылки на более глубокие исследования, в которых подробно описаны причины, последствия и меры справедливости.

В 2016 году было проанализировано программное обеспечение ИИ для оценки рисков под названием COMPAS, и была обнаружена серьезная расовая предвзятость. Этот инструмент использовался для прогнозирования риска повторного совершения преступления. Темнота смехотворно увеличила прогнозируемый риск преступника.

В 2018 году в статье Reuters была выявлена ​​серьезная проблема гендерной предвзятости при выборе учебной программы Amazon AI. Фактически, модель придавала большое положительное значение словам, которые чаще используются мужчинами, и отрицательное значение тем, которые чаще используются женщинами. Это результат неравномерного распределения данных между мужчинами и женщинами. Первые на Amazon намного превосходят вторые. Модель воспроизводила эти неравенства в своих прогнозах. Общая проблема нежелательных предубеждений не только технологическая. Он содержит несколько тем, которые необходимо обсудить в индивидуальном порядке. Список несправедливых предубеждений является локальным для проблемы. Например, в одном случае найма системы машинного обучения возрастная предвзятость кажется несправедливой, но в модели, участвующей в прогнозировании выживания пациента с COVID-19, возраст, по-видимому, является важной переменной, которую необходимо учитывать. Также необходимо обсудить вопрос о том, как измеряется справедливость; Существуют разные методы, которые не будут иметь одинакового значения во всех случаях. Это делает вопрос справедливости деликатным.

Как ни странно, почти все предубеждения - это хорошо, если нужно иметь в данных. Фактически, классификаторы машинного обучения предназначены для принятия решения на основе статистических погрешностей.

Дискриминация по предубеждениям: естественный путь машинного обучения

…. Итак, предвзятость - это хорошо?

Давайте подробнее рассмотрим, что такое нейронная сеть. В этой статье мы рассматриваем этот алгоритм как представитель всех алгоритмов машинного обучения. Искусственные нейронные сети состоят из отдельных искусственных нейронов, расположенных определенным образом. Это элементарные единицы расчета сети. Давайте рассмотрим их подробнее.

Этот модуль вычислений обрабатывает взвешенную сумму своих входных данных и применяет функцию активации h (x), которая часто бывает нелинейной. Вот самые распространенные из них:

Мы различаем два семейства: ступенчатые (сигмовидные, tanh) и линейные (* eLu) функции. Эти упрощения призваны проиллюстрировать, что здесь происходит. У пошаговых функций есть два различных состояния: активное (1) или неактивное (0 или -1). У функций типа пилообразных есть два разных состояния: линейное (| x |) или неактивное (›= 0). Выход функции активации реагирует двумя разными способами в зависимости от входа, который различает вход в двух случаях. Эти нейронные модели пытаются имитировать реальные нейроны и то, как они работают. Нейроны головного мозга - это единицы, которые запускают электрический переменный электрический ток (активен / возбужден) или нет (неактивен / подавлен). В этом смысле нейронные сети представляют собой сложную архитектуру взаимосвязанных дискриминирующих единиц. Неудивительно, что машинное обучение подвержено дискриминации ... Оно создано для этого! Но означает ли это, что их создатели были белыми людьми Макиавелли, которые изобрели такой дьявольский алгоритм? Конечно, нет.

Дискриминация и обобщение являются основой обучения для машин и людей до них. Нейронная сеть - это алгоритм, предназначенный для поиска смещений в данных, выявления случаев и применения к ним различной обработки. Вот как он решает проблемы. Применительно к данным, связанным с людьми, он неизбежно обнаружит предубеждения, которые позволят ему решить данную проблему.

Но что происходит, когда человеческие данные, созданные на основе предвзятого человеческого опыта, изначально предвзяты? Машина просто изучает их и экстраполирует (то есть обобщает). Когда предвзятость данных несправедлива, машина учится дискриминации людей (в социальном смысле).

Иногда предубеждения несправедливы

…. Кто виноват?! Что ж, это сложно.

Примечание: подробное исследование причин предубеждений и их взаимосвязей можно найти здесь.

Первое, что нужно сделать, когда возникнет вопиющая проблема: выяснить, кто виноват. Это вина инженеров, использовавших предвзятые данные? Виноваты ли в этом люди, создавшие эти необъективные данные? Кто их распространял? Руководитель проекта? Компания, которая использовала этот алгоритм? Правительство, которое не установило законодательную базу?

Давай попробуем что-нибудь еще. Попробуем разобраться в проблеме глубже, с ее нюансами. Начнем с предположения, что это ошибка, и холодно проанализируем ее причины и следствия. В случае с Amazon большинство технических специалистов - мужчины. Алгоритм изучал текст из резюме всех своих предыдущих технических сотрудников. Проанализировав то, что узнала нейронная сеть, команда ИИ обнаружила, что алгоритмы научились придавать мало значения навыкам, которые были общими для соискателей ИТ, например, умению писать различные компьютерные коды […]. Вместо этого технология отдавала предпочтение кандидатам, которые описывали себя с помощью глаголов, которые чаще встречаются в резюме мужчин-инженеров, таких как «выполнен и схвачен […]. »( src ).

Мы видим, что фундаментальные характеристики человека, такие как пол, неразрывно связаны с наблюдениями за нашим поведением, в данном случае с нашим способом письма. Пол можно определить из резюме, даже если он не был напрямую указан в алгоритме. Следовательно, скрытие этих переменных путем их удаления неэффективно. Простое решение, которое можно было бы рассмотреть, - сбалансировать количество мужских и женских резюме в наборе данных для обучения машинному обучению. Достаточно ли этого? Как измерить смещение? Если мы можем измерить это, мы можем обнулить его! Но достаточно ли обнуления меры предвзятости, чтобы устранить несправедливую предвзятость?

К сожалению, нет единого способа измерить предвзятость, мы увидим, что эти разные показатели конкурируют. Развивая проблему справедливости на нескольких уровнях, мы начинаем раскрывать уровни ее сложности.

У предвзятости есть несколько мер, каждая из которых связана с правильным пониманием того, что должно быть равенством.

Примечание: подробное исследование множества мер справедливости, появившихся в литературе, можно найти здесь. Более подробное объяснение большинства мер можно найти здесь.

Возьмем двоичную переменную G (например, пол), которую мы хотим защитить от дискриминации при машинном обучении. Эта переменная может принимать два значения (0/1). Образцы, которые показывают одинаковые значения для G, группируются вместе. Принимая во внимание только G, в популяции есть две группы: одна считается привилегированной (например, мужской группой), а другая - непривилегированной ( женская группа). Теперь рассмотрим результат работы бинарного классификатора. Один из выходных классов считается положительным результатом (например, получение работы Amazon), а другой - отрицательным результатом (например, отказом от работы в Amazon). Мы проиллюстрируем каждую меру справедливости соответствующим подтверждением, которое помогает понять его значение, и примером процесса найма в Amazon, который мы обсуждали ранее.

Примечание²: я не углубляюсь в математику меры, я просто говорю об идеальном случае их парадигмы равенства. Это тот случай, когда метрика оценивается в 1. Когда ей присваивается значение 0, мы можем представить себе большее расстояние от этого идеального случая.

Демографический паритет² - «В привилегированной группе и в непривилегированной группе должно быть равное количество положительных результатов»

Пример: если 80 мужчин и 20 женщин претендуют на 10 открытых вакансий в Amazon, 5 должны быть предоставлены мужчинам, а 5 - женщинам.

Равенство возможностей² - «Должно быть равное количество положительных результатов в привилегированной группе и в непривилегированной группе»

Пример: если 80 мужчин и 20 женщин претендуют на 10 открытых вакансий в Amazon, 8 должны быть предоставлены мужчинам, а 2 - женщинам.

Equalized Odds²³ - «Должно быть равное количество истинных и ложноположительных результатов в привилегированной группе и в непривилегированной группе»

Пример: если 50 неквалифицированных мужчин, 30 квалифицированных мужчин, 15 неквалифицированных женщин и 5 квалифицированных женщин подают заявку на 10 открытых вакансий в Amazon, действительны только 3 сценария:

  • 4 неквалифицированных мужчины + 4 квалифицированных мужчины + 1 неквалифицированная женщина + 1 квалифицированная женщина
  • 8 квалифицированных мужчин + 2 квалифицированных женщины
  • 8 неквалифицированных кобелей + 2 неквалифицированных сук.

Примечание³: в примере с процессом найма на Amazon истинно позитивным является человек, который заслуживает работы в отношении объективных данных из своего резюме. Ложноположительный результат - это человек, не заслуживающий работы. Мы упрощаем здесь слово «квалифицированный» (для работы).

Это 3 наиболее распространенные меры, но их гораздо больше (ссылки под заголовком этого раздела). Мы ясно видим, что демографический паритет несовместим с равенством возможностей и равными шансами. Более того, когда есть равные шансы, это подразумевает равенство возможностей, обратное неверно. Чтобы убедиться в истинности этого последнего предположения, мы можем вспомнить пример процесса найма в Amazon на тему равенства возможностей. Наемные люди не обязаны иметь квалификацию для работы. В этом смысле 1 квалифицированный мужчина + 7 неквалифицированных мужчин + 4 квалифицированных женщины - это совершенно правильное решение для равенства возможностей. Каждая мера достигает точки зрения того, что является справедливым для текущего дела, что является предметом обсуждения. Вот пример, где, на мой взгляд, присваивается каждая мера:

  • Сальса-вечеринка для натуралов и одиноких: вы должны обеспечить демографический паритет между мужчинами и женщинами, иначе это будет одинокая вечеринка для тех, у кого нет партнеров.
  • Выборочные проверки на границах страны должны иметь равенство возможностей: каждый сегмент населения должен проходить одинаковые проверки на границах, независимо от их внешнего вида. Это предотвращает преследования со стороны полиции, и таким образом никто не чувствует себя выше закона.
  • Процесс найма в Amazon должен иметь равные шансы: людей следует нанимать на основе их навыков, прошлого опыта и рекомендаций. Таким образом, должно быть примерно такое же соотношение квалифицированных людей между наемными мужчинами и наемными женщинами и примерно такое же соотношение количества мужчин и женщин, которые применяются, чем соотношение, которое нанимают.

И все это немного запутывается в современном конвейере машинного обучения.

В современном конвейере машинного обучения это может быть даже сложнее, чем эти простые случаи. Рассмотрим область NLP (обработка естественного языка). В одном конвейере машинного обучения для решения одной задачи очень часто можно найти несколько разных алгоритмов машинного обучения, некоторые из которых уже обучены, другие предварительно обучены, а последние нужно обучать с нуля:

Когда вы имеете дело с различными алгоритмами машинного обучения, обученными на разных наборах данных, окончательный результат зависит от систематических ошибок, полученных при выполнении каждой подзадачи. Внедрение обучения - это неконтролируемая задача, поэтому традиционные показатели справедливости здесь нам не помогут, потому что нет явных положительных или отрицательных результатов.

Мы заметили, что вложения обладают интересными свойствами, когда они хорошо обучены. Окончательный набор встраивания сохраняет некоторую семантику между словами в форме локальных квазилинейных семантических отношений. Взломав эти свойства, мы можем построить гендерный вектор из среднего значения вычитания противоположных по полу наборов слов, таких как {папа, мужчина, отец} - {мама, женщина, мать} . Удалив этот гендерный компонент из всех встраиваний слов в словаре, мы можем приблизительно подавить гендерное предубеждение. Чтобы измерить общую погрешность в наборе вложения, мы используем метрику под названием WEAT.

Тест на ассоциацию встраивания слов (WEAT) ²⁴ - «Не должно быть никакой разницы в коннотации (положительной / отрицательной) для семантически нейтральных слов»

В словесных вложениях процесса найма на Amazon должно выполняться следующее соотношение расстояния между векторами слов:

dist («мужчина», «хороший») - dist («мужчина», «плохой») ≃ dist («женщины», «хороший») - dist («женщины», «плохой»)

Примечание⁴: это упрощение для понимания сути этой меры, настоящая математика более сложна. На самом деле, чтобы вычислить реальную оценку WEAT, мы должны были определить набор мужских слов, противоположных женских слов, положительных слов и противоположных отрицательных слов. Затем мы должны вычислить среднее расстояние между мужскими и положительными наборами, мужскими и отрицательными наборами, женскими и положительными наборами и, наконец, между женскими и отрицательными наборами.

Мои собственные эксперименты подтверждают здравый смысл в том, что устранения смещения набора вложения недостаточно для полного устранения смещения из полного конвейера НЛП. Фактически, существует также смещение в наборе данных о проблеме, которую мы пытаемся решить. Поскольку гендерная предвзятость не может быть полностью устранена в первой части, поскольку подавление гендерного вектора является приблизительным процессом, крошечные различия в гендерном направлении усиливаются во время окончательного обучения модели.

Итак, какие контрмеры доступны для улучшения этих показателей справедливости?

Какие решения?

Примечание: более исчерпывающий список возможных решений по различным областям можно найти здесь.

Хотя большая часть исследований справедливости сосредоточена на оптимизации несмещенности вложений, я считаю, что мы упускаем из виду цель. Последующие приложения встраивания также будут содержать наборы данных и модели для объективной оценки. Следовательно, беспристрастность всего процесса более чем необходима, это основная цель. Проект AIF360 отлично справляется с этими стратегиями. Он в образовательной форме показывает различные стратегии беспристрастности и их влияние на показатели справедливости:

  • Уравновешивание количества привилегированных и непривилегированных образцов. Это действительно хорошая стратегия для решения большинства проблем, поскольку огромное количество предубеждений возникает просто из-за разницы в представлении групп. Модель и проблема, которую нужно решить, не трансформируются, поэтому, как правило, это не сильно меняет производительность модели. Он был успешно использован для снижения предвзятости при обнаружении токсичных комментариев.
  • Наказание за предвзятость путем добавления члена в модель потерь. Для каждой пары пар (x, y), (x ', y'), где x принадлежит привилегированной группе, где y - ожидаемый результат, а x 'принадлежит непривилегированной группе, где y - ожидаемый результат, добавьте | y - y '| срок в убыток. Поскольку это меняет проблему, которую решает модель, мы должны убедиться, что она имеет смысл в контексте. Этот метод использовался для решения различных проблем, таких как смягчение последствий расовых предубеждений и смягчение гендерных предубеждений.
  • Состязательная дебиазинг. Он изменяет модель, добавляя враждебную сеть, которая пытается определить, исходит ли результат модели из выборки привилегированной или непривилегированной группы. Он использовался для смягчения гендерной предвзятости при обучении классификациям и встраиванию слов.

Итак, у нас есть средства искоренить несправедливость, давайте сделаем это! Не так быстро…

Баланс здесь все, но не слишком много

Примечание. интересное исследование того, что происходит, когда мы слишком далеко продвигаем некоторые показатели в сторону равенства и когда их использовать, можно найти здесь.

Пытаясь уменьшить предвзятость, у нас может возникнуть соблазн оптимизировать показатели справедливости до максимума. К сожалению, проблема справедливости не является проблемой оптимизации, и это может привести к парадоксальным состояниям системы. Когда мы заходим слишком далеко в обеспечении справедливости, пытаясь идеально сбалансировать привилегированные и непривилегированные группы, может возникнуть больше проблем. Метрики, которые мы пытаемся оптимизировать, - это не справедливость, это показатель, который показывает, насколько мы далеки или близки от идеального справедливого случая. Следовательно, не следует путать то, что является справедливым, и число, которое мы оптимизируем. Во-первых, нам нужно точно определить наш идеальный случай справедливости и оценить его ограничения. Например, наем только неквалифицированных людей может быть совершенно верным идеальным случаем с точки зрения равенства возможностей и равных шансов. Вот почему рекомендуется проверять выходные данные моделей вручную и статистически под разными углами на тщательно созданном наборе данных проверки, чтобы убедиться, что меры по смягчению, которые мы применяем, приносят больше пользы, чем вреда.

Тема справедливости одновременно интересна и тревожна, потому что она заставляет нас определять, что справедливо, а что нет, и как сделать ситуацию более справедливой. В первую очередь, это индивидуальное обсуждение. Имеет больше смысла рассматривать это как страховочную сетку, позволяющую избежать крайнего или несправедливого поведения системы, чем идеал, которого нужно добиваться любой ценой. Например, поиск несправедливых предубеждений может быть бесконечным. Всегда можно умножить масштабы несправедливости. Например, при анализе настроений сложно просто подробно изучить расовые предубеждения. Сколько гонок мы должны учитывать? Как их определить и представить? Если мы возьмем проблему на поверхность, нас интересует только смягчение предубеждений в соответствии с измерением белого и черного. Если кто-то действительно хочет быть справедливым, следует также рассмотреть испаноязычные и азиатские группы. И это еще не все, большинство исследований проводится в Америке, и есть предвзятость, потому что часто они рассматривают только американцев, которые сильно отличаются от европейцев и африканцев. Это создает проблемы с представлением. Все эти группы и подгруппы могли иметь предвзятые отношения друг с другом, поэтому это умножает параметры, по которым должны применяться меры справедливости (например, с учетом испаноязычных - белых американцев, афроамериканцев - испаноязычных, азиатских - европейских белых, азиатских - американских чернокожих. и т.д.).

Следовательно, справедливость должна быть непрерывным, прагматичным и спокойным обсуждением, избегая объективации, прежде чем превращаться в техническую проблему.