почему справедливость? как определить справедливость? как сохранить справедливость?

1. Введение

Этот пост будет первым в серии. Цель этой публикации:

предоставлять ссылки и ресурсы читателям на всех уровнях, которые заинтересованы в Fair ML.
Вступление

Содержание основано на учебнике по справедливости, представленном Солоном Бакрокасом и Морицем Хардтом на NIPS2017, день 1 и день 4 из CS 294: Справедливость в машинном обучении, который преподает Мориц Хардт из Калифорнийского университета в Беркли, и мое собственное понимание литературы по вопросам справедливости. Я настоятельно рекомендую заинтересованным читателям ознакомиться со связанным учебным пособием по NIPS и веб-сайтом курса.

Текущий пост состоит из шести частей:

Мотивации
Причины предвзятости в ML
Определения справедливости, включая формулировку, мотивацию, пример и недостатки.
Алгоритмы, используемые для достижения этих определений справедливости.
Резюме
Обнаружение незаметных различий в производительности: искаженный образец, испорченные примеры

2. Мотивы

Справедливость становится одной из самых популярных тем в машинном обучении в последние годы. Публикации в этой области стремительно растут (см. Рис. 1). Исследовательское сообщество приложило большие усилия в этой области. На ICML 2018 две из пяти лучших статей / дипломов, занявших второе место, посвящены справедливости. Также проводятся новые конференции / семинары по справедливости: FAT / ML начинается в 2014 году, ACM FAT начинается в 2018 году и FairWare в 2018 году. Каждую неделю на arxiv загружается несколько новых статей о справедливости. Многие престижные исследователи как теоретического, так и практического сообщества ML были вовлечены в эту область.

3. Причины

Первый вопрос, который следует задать: почему мы заботимся о справедливости? Основная мотивация в том, что это во многом связано с нашими собственными выгодами. Мы живем в эпоху, когда многие вещи автоматизированы или автоматизируются с помощью систем машинного обучения. Беспилотные автомобили появились не за горами, и, по оценкам, они получат широкое распространение в течение 5–10 лет; работодатели используют систему ML для отбора соискателей; суды США используют алгоритм COMPAS для прогнозирования рецидивов; Linked-in использует машинное обучение для ранжирования опрошенных кандидатов на вакансию; Amazon использует систему рекомендаций, чтобы рекомендовать товары и определять порядок их отображения на странице. Netflix использует систему рекомендаций для отображения индивидуальной страницы для каждого пользователя. Системы машинного обучения стали неотъемлемой частью нашей повседневной жизни. В ближайшем будущем они станут еще более широко использоваться, поскольку все больше и больше областей начинают интегрировать ИИ в свою существующую практику / продукты.

Искусственный интеллект - это хорошо, но его можно использовать неправильно. Машинное обучение, наиболее широко используемый метод искусственного интеллекта, в значительной степени зависит от данных. Это распространенное заблуждение, что ИИ абсолютно объективен. ИИ объективен только в том смысле, что он изучает то, чему учит человека. Данные, предоставленные человеком, могут быть сильно предвзятыми. В 2016 году было обнаружено, что COMPAS, алгоритм, используемый для прогнозирования рецидивов, дает гораздо более высокий уровень ложных срабатываний для чернокожих людей, чем для белых (см. Рис. 2, Larson et al. ProPublica, 2016).

XING, платформа для поиска вакансий, аналогичная Linked-in, оценивает менее квалифицированных кандидатов-мужчин выше, чем более квалифицированных кандидатов-женщин (см. Рис. 3, Lahoti et al. 2018).

Установлено, что общедоступные коммерческие онлайн-сервисы распознавания лиц, предоставляемые Microsoft, Face ++ и IBM соответственно, страдают от гораздо более низкой точности для женщин с более темным цветом кожи (см. Рис. 4, Buolamwini and Gebru, 2018).

Предубеждение в ML было почти повсеместным, когда приложение затрагивало людей, и оно уже нанесло ущерб людям из групп меньшинств или исторически неблагополучных групп. Не только люди из групп меньшинств, но и все должны заботиться о предвзятости в ИИ. Если никого не волнует, весьма вероятно, что следующий человек, который страдает от предвзятого отношения, - это один из нас.

4. Определения справедливости

Можно спросить: Что вызывает предвзятость в системах машинного обучения? По сути, смещение происходит из-за человеческого смещения, существующего в наборе обучающих данных по историческим причинам. Ниже приводится список возможных причин (Barocas and Selbst, 2016):

Их можно сгруппировать в следующие три задачи:

Возникает естественный вопрос: «Как определить справедливость?», В частности: «Как мы можем сформулировать справедливость так, чтобы ее можно было рассматривать в системах машинного обучения». Первая идея - найти юридическую поддержку и проверить, есть ли какие-либо определения, которые можно использовать для количественной формулировки справедливости. Законы о борьбе с дискриминацией во многих странах запрещают несправедливое обращение с людьми на основе чувствительных атрибутов, таких как пол или раса (Закон о гражданских правах. Закон о гражданских правах 1964 года, Раздел VII, Равные возможности трудоустройства, 1964). Эти законы обычно оценивают справедливость процесса принятия решений с использованием двух разных понятий («Barocas and Selbst, 2016»): несопоставимое отношение и несопоставимое воздействие. Процесс принятия решений страдает от несопоставимого отношения, если его решения (частично) основаны на чувствительном атрибуте субъекта, и он оказывает несопоставимое влияние, если его результаты непропорционально причиняют вред (или приносят пользу) людям с определенными значениями чувствительных атрибутов (например, женщинам, чернокожим). Однако эти два определения слишком абстрактны для целей вычислений. В результате нет единого мнения о математических формулировках справедливости.

Образец Устранение наблюдаемых различий в производительности: ограниченные возможности, несоответствие размера выборки
Понимание причин несоответствия в прогнозируемых результатах: прокси
Неосведомленность

4.0 Настройка и обозначения

В литературе предлагается множество определений справедливости (см. Гаяне и Печеницкий, 2018 и Верма и Рубин, FairWare2018). Однако большинство из них основано на следующих шести:

где демографический паритет, равные шансы и паритет прогнозируемой ставки относятся к более широкой категории, называемой групповая справедливость.

Демографический паритет
Уравненные шансы
Прогнозируемый паритет скорости
Индивидуальная справедливость
Контрфактическая справедливость
X ∈ Rᵈ: количественные характеристики соискателя (например, образование, опыт работы, средний балл в колледже и т. Д.).

Примечание. Имена, которые я использую, довольно популярны в литературе. Для этих определений нет единых соглашений об именах.

В этом разделе для простоты мы рассмотрим только проблему двоичной классификации с одним чувствительным атрибутом. Однако формулировку можно легко распространить на другие задачи (например, регрессию) с несколькими чувствительными атрибутами.

4.1 Незнание

Представьте себе проблему прогнозирования при приеме на работу соискателя:

Обозначим также P₀ [c]: = P [c | A = 0].

A ∈ {0, 1}: бинарный чувствительный атрибут (например, большинство / меньшинство).
C: = c (X, A) ∈ {0,1}: бинарный предиктор (например, прием / отклонение), который принимает решение на основе оценки R: = r (x, a) ∈ [0,1].
Y ∈ {0, 1}: целевая переменная (например, если кандидат действительно способен на эту должность).
Мы предполагаем, что X, A, Y генерируются из базового распределения D, то есть (X, A, Y) ~ D.
| P₀ [C = 1] -P₁ [C = 1] | ≤ ϵ, где ϵ ∈ [0,1].

Первоначально, когда мы не налагаем никаких ограничений справедливости, мы оптимизируем точность, и лучшая точность достигается, когда C (X, S) = Y ∀ (X, S, Y) ~ D.

Это просто означает, что мы не должны включать чувствительный атрибут как функцию в обучающие данные. Это понятие согласуется с разрозненным обращением, которое требует не использовать чувствительный атрибут.

4.2 Демографический паритет

Состав:

Мотивы:

C=c(x, A) = c(X)

Интуитивно понятная, простая в использовании и юридическая поддержка (разрозненный подход).

Недостатки:

Основное ограничение заключается в том, что может быть много сильно коррелированных характеристик (например, соседство), которые являются заместителями чувствительного атрибута (например, расы). Таким образом, одного лишь удаления чувствительного атрибута недостаточно.

Демографический паритет, также называемый независимостью, статистическим паритетом, является одним из самых известных критериев справедливости.

4.3 Уравненные шансы

Состав:

C не зависит от A: P₀ [C = c] = P₁ [C = c] ∀ c ∈ {0,1}

В нашем примере это означает степень приема кандидатов из двух группы должны быть равными. На практике есть две приблизительные формы, которые ослабляют это равенство (предположим, что группа 1 является выгодной группой, т. Е. Имеет более высокую вероятность быть нанятым, когда не рассматривается проблема справедливости):

Правило p% определяется как удовлетворяющее этому неравенству, когда ϵ = p / 100 («Zafar et al. AISTATS2017»).

P₀ [C=1]/P₁ [C=1] ≥ 1-ϵ

Мотивы:

Юридическая поддержка: «правило четырех пятых» предписывает, что коэффициент отбора для любой обездоленной группы составляет менее четырех пятых от этого показателя для группы с наивысшим рейтингом. В нашей формулировке это эквивалентно выполнению правила 80%. Если это правило нарушается, необходимо предоставить обоснование, связанное с работой или деловой необходимостью. «Деловая необходимость означает, что использование процедуры имеет важное значение для безопасной и эффективной работы бизнеса - и нет альтернативных процедур, которые по существу одинаково действительны и имели бы менее неблагоприятное воздействие» (источник: «Анализ неблагоприятных воздействий / Правило четырех пятых»). »).

Недостатки:

Есть несколько работ, в которых утверждается, что применение таких критериев в краткосрочных выгодах укрепляет репутацию неблагополучной группы меньшинств на рынке труда в долгосрочной перспективе (Ху и Чен, WWW2018).
Это определение игнорирует любую возможную корреляцию между Y и A. В частности, оно исключает идеальный предсказатель C = Y, когда базовые ставки различны (например, P₀ [Y = 1] ≠ P₁ [Y = 1])

Уравненные шансы, также называемые разделением, положительным паритетом ставок, были впервые предложены в «Hardt, Price and Srebro, 2016» и «Zafar et al. WWW2017 ».

лень: если мы нанимаем квалифицированных из одной группы и случайных людей из другой, мы все равно сможем добиться демографического паритета.
Оптимальная совместимость: допускается C = Y.

4.4 Прогнозируемый паритет скорости

Состав:

C не зависит от A при условии Y:

Более слабое понятие:

P₀ [C = r | Y = y] = P₁ [C = r | Y = y] ∀ r, y

который называется Четность точности. Ограничение этого более слабого понятия состоит в том, что мы можем обменять ложноположительный показатель одной группы на ложноотрицательный показатель другой группы. Такая торговля иногда нежелательна (например, отказ от торговли (C = 0) квалифицированных кандидатов (Y = 1) из группы 1 (A = 0) для приема (C = 1) неквалифицированных людей (Y = 0) из группы 2 (A = 1) ).

P₀ [C ≠Y] = P₁ [C≠ Y]

Во многих приложениях (например, при приеме на работу) людей больше волнует истинная положительная оценка, чем истинная отрицательная оценка, поэтому многие работы сосредоточены на следующей упрощенной версии:

что называется равенство возможностей.

P₀ [C = 1| Y = 1] = P₁ [C = 1| Y = 1]

В нашем примере это означает, что мы должны нанять равное количество людей из квалифицированной фракции каждой группы.

Мотивы:

Недостатки:

Наказывайте за лень: это дает стимул для единообразного уменьшения количества ошибок во всех группах.
Оптимальная совместимость: C = Y удовлетворяет параметру Predictive Rate Parity.

Возможно, это не поможет сократить разрыв между двумя группами. Например, представьте, что в группе A 100 кандидатов, и 58 из них соответствуют требованиям, в то время как группа B также имеет 100 кандидатов, но только 2 из них соответствуют требованиям. Если компания решает принять 30 кандидатов и удовлетворяет равенство возможностей, 29 предложений будут переданы группе A, в то время как только 1 предложение будет предоставлено группе B. условий жизни и дает возможность детям получить лучшее образование и, таким образом, дает им возможность получить такую хорошо оплачиваемую работу, когда они вырастут. Разрыв между группой A и группой B со временем будет увеличиваться.

Predictive Rate Parity, также называемый достаточностью, появился в «Zafar et al. WWW2017 »(я не уверен в первой литературе, посвященной этому вопросу).

4.5 Индивидуальная справедливость

Состав:

Y не зависит от A при условии C:

Это эквивалентно удовлетворению обоих

P₀ [Y = y| C= c] = P₁ [Y = y| C= c] ∀ y, c ∈ {0,1}

P₀ [Y = 1 | C = 1] = P₁ [Y = 1 | C = 1] и

которые называются положительная прогнозирующая четность и отрицательная прогнозирующая четность соответственно.

P₀ [Y = 0| C= 0] = P₁ [Y = 0| C= 0],

В нашем примере это означает, что если оценка, полученная от алгоритма прогнозирования (используемого для определения соответствия кандидата требованиям к работе) для кандидата, должна отражать реальную способность кандидата выполнять эту работу. Это соответствует выгоде работодателя.

Мотивы:

Недостатки:

Равные шансы на успех (Y = 1) при принятии (C = 1).
Этот недостаток аналогичен недостатку равенства возможностей: он может не помочь сократить разрыв между двумя группами. Рассуждения такие же, как и раньше.

Индивидуальная справедливость - это относительно другое понятие. Все три предыдущих критерия основаны на группах, в то время как индивидуальная справедливость, как следует из названия, основана на индивидуальном подходе. Впервые это было предложено Синтией Дворк и др. В статье «Справедливость через осведомленность». в 2012 году, который является одним из самых важных основополагающих документов в этой области. Понятие индивидуальной справедливости подчеркивает это: с похожими людьми следует обращаться одинаково.

Предварительно обработанные данные можно использовать для любой последующей задачи.

4.6 Контрфактическая справедливость

Состав:

Обозначим O, чтобы быть измеримым пространством, и Δ (O), чтобы быть пространством распределения над O. Обозначим M: X → Δ (O), чтобы быть картой, которая отображает каждого индивида в распределение результатов. Тогда формулировка такова:
D (M (X), M (X ’)) ≤ d (X, X’)

где X, X ’∈ Rᵈ - два входных вектора признаков, а D и d - две« метрические функции »во входном и выходном пространствах соответственно. См. Рис. 5 для иллюстрации.

Мотивация:

Вместо того, чтобы сосредотачиваться на группе, как на индивидуумах, мы склонны больше заботиться о людях. Кроме того, индивидуальная справедливость более детальна, чем любое групповое понятие справедливости: она накладывает ограничения на обращение с каждой парой индивидов.

Недостатки:

Трудно определить, какая метрическая функция подходит для измерения сходства двух входных данных («Kim et al. FATML2018»). В нашем случае сложно количественно оценить разницу между двумя кандидатами на вакансию. Представьте себе трех соискателей, A, B и C. A имеет степень бакалавра и годичный опыт работы. Б. имеет степень магистра и 1 год опыта работы в этой сфере. C имеет степень магистра, но не имеет соответствующего опыта работы. А ближе к В, чем С? Если да, то на сколько? На такой вопрос сложно ответить, поскольку у нас не может быть показателей A, B и C (мы не можем нанять всех троих). В противном случае мы можем применить методы в области, называемой «метрическое обучение». Еще хуже становится, когда в игру вступают чувствительные атрибуты. Если мы должны и как рассчитать разницу в членстве в группах в нашей метрической функции?

Контрфактическая справедливость была предложена в Russell et al., NIPS2017. Это дает возможность интерпретировать причины предвзятости.

4.7 Теорема невозможности справедливости

Состав:

Контрфактическое значение заменяет исходное значение чувствительного атрибута. Контрфактическое значение распространяется «вниз по потоку» «причинного графа» (см. Пример на Рис. 6) через некоторые структурные уравнения. Все остальное, что не является потомком чувствительного атрибута, остается прежним.

P[C_{A← 0}=c|X, A=a]=P[C_{A← 1}=c|X, A=a]

Мотивация. 4.1 недостаточно из-за множества взаимосвязанных функций. 4.2–4.4 - все критерии справедливости наблюдения. Их нельзя использовать для поиска причины явления несправедливости. 4.5 имеет фундаментальное ограничение на поиск подходящей метрики. Контрфактическая справедливость решила все эти проблемы.

Контрфактическая справедливость дает возможность проверить возможное влияние замены только чувствительного атрибута. Это дает возможность объяснить влияние систематической ошибки с помощью причинно-следственной диаграммы. На рис. 6 показаны несколько возможных графиков в сценарии поступления в колледж. Обратите внимание, что когда мы заменяем чувствительный атрибут, все другие коррелированные с ним функции также будут затронуты. На рис. 6, если изменен чувствительный атрибут (раса), также изменится оценка образования, а также оценка работы.

Недостатки:

Идея очень идеальная. На практике трудно достичь консенсуса в отношении того, как должен выглядеть причинно-следственный график, и еще сложнее решить, какие функции использовать, даже если у нас есть такой график (мы можем понести большие потери в точности, если исключим все коррелированные признаки).

Оказывается, любые два из трех критериев в 4.2–4.4 являются взаимоисключающими, за исключением невырожденных случаев.

4.7 Компромисс между честностью и точностью

Демографический паритет VS паритет прогнозируемой ставки

Если A зависит от Y, то соблюдается либо демографический паритет, либо прогнозный паритет, но не оба сразу.

Доказательство:

Демографический паритет и равные шансы

Если A зависит от Y, а C зависит от Y, то выполняется либо демографический паритет, либо уравненные шансы, но не оба сразу.
Доказательство:

Уравненные шансы и паритет прогнозируемой ставки

Предположим, что все события в совместном распределении (A, C, Y) имеют положительную вероятность. Если A зависит от Y, то выполняется либо уравнение шансов, либо паритет прогнозируемой ставки, но не то и другое вместе.
Доказательство: (теорема Вассермана 17.2)

В литературе основное внимание уделяется доказательству третьего. Доказательства можно найти в Chouldechova, 2016 и Kleinberg et al. 2016 , где позднее приводится доказательство с учетом более слабого предположения.

Ниже приведен пример, который иллюстрирует третье взаимное исключение (равные шансы VS паритет прогнозируемой скорости). Представьте, что у нас есть следующие результаты и прогнозы после оптимизации нашего классификатора без каких-либо ограничений справедливости (см. Рис. 7). Мы получаем все прогнозы для группы a, но делаем одну ложноположительную ошибку для группы b.

Поскольку мы хотим сохранить уравненные шансы, мы также решаем сделать две ложноположительные ошибки на a. Теперь истинные положительные и истинно отрицательные ставки равны: оба имеют 1/2 и 1 (см. Рис. 8).

Однако, хотя положительная прогнозирующая четность также сохраняется, отрицательная прогнозирующая четность нарушается с этой настройкой. Невозможно сохранить отрицательный прогнозный паритет без ущерба для уравновешенных шансов / положительного прогнозного паритета (см. Рис. 9).

Суть дискуссии о КОМПАСе похожа на этот игрушечный пример. Основное обвинение ProPublica состоит в том, что чернокожие обвиняемые сталкиваются с более высоким уровнем ложных срабатываний, то есть это нарушает равенство возможностей и, таким образом, уравнивает шансы. Основная защита Нортпойнта заключается в том, что оценки удовлетворяют прогнозируемому паритету ставок.

Воздействие наложения вышеуказанных ограничений на точность действительно зависит от набора данных, используемого определения справедливости, а также используемых алгоритмов. Однако в целом справедливость вредит точности, поскольку отвлекает цель от точности только на точность и беспристрастность. Поэтому в действительности следует пойти на компромисс (см. Рисунок 10 для иллюстрации).

5. Честные алгоритмы

Есть много алгоритмов, которые, как утверждается, помогают повысить справедливость. Большинство из них делятся на три категории: предварительная обработка, оптимизация во время обучения и постобработка.

5.1 Предварительная обработка

Идея состоит в том, что мы хотим изучить новое представление Z, чтобы оно удаляло информацию, коррелированную с чувствительным атрибутом A, и сохраняло информацию X в максимально возможной степени и («Zemel et al. ICML2013», «Louizos et al. ICLR2016» »,« Лам и Джондроу, 2016 »,« Адлер и др., 2016 »,« Калмон и др., NIPS2017 »,« Баррио и др., 2018 »). Таким образом, последующая задача (например, классификация, регрессия, ранжирование) может использовать «очищенное» представление данных и, таким образом, давать результаты, которые сохраняют демографический паритет и индивидуальную справедливость (если задана надлежащая метрика). См. Рисунок 11 для иллюстрации.

Пример:

Следующий алгоритм был предложен в Zemel et al. ICML2013 .

Плюсы:

Обозначения (немного отличаются от оригинальной статьи):
X ∈ R ^ {d × N}: обучающие данные.
Y: двоичная случайная величина, представляющая решение о классификации для человека.
X⁺: = {x∈ X | A = 1}: положительные данные обучения.
Z: полиномиальная случайная величина, где каждое из значений K ∈ Z⁺ представляет собой прототип. С каждым прототипом связан вектор v_k в том же пространстве, что и индивиды x.

Идея состоит в том, чтобы представить каждую точку данных x как взвешенную линейную комбинацию K прототипов, чтобы удовлетворить демографический паритет и максимально сохранить исходную информацию и точность. Функция потерь отражает эту идею.

Определите версию softmax для вероятности того, что элемент, являющийся конкретным прототипом, будет

где d - функция измерения расстояния (например, l₂ расстояние). В этой статье он определяется как взвешенная функция расстояния l₂:

Определите прогноз для y_n, основанный на маргинализации прогноза каждого прототипа для Y:

Общая потеря составляет:

где L_z - для регуляризации демографического паритета, L_x - ошибка восстановления, а L_y - подсчитывает потерю прогноза. Соответствующие A_z, A_x, A_y являются гиперпараметрами для уравновешивания этих потерь.
На этапе обучения v, w, α оптимизируются совместно через L-BFGS, чтобы минимизировать цель L. Гиперпараметры выбираются через сетку. -поиск. Следует отметить, что цель невыпуклая и, следовательно, не гарантирует оптимальности.

Самая интуитивная идея - добавить ограничение или условие регуляризации к существующей цели оптимизации. Под эту категорию попадает большинство литературных произведений. Такие методы можно использовать для оптимизации для любого определения справедливости («Calders et al. 2009», «Woodsworth et al. 2017», «Zafar et al. AISTATS2017», «Zafar et al. WWW2017», «Agarwal et al. ICML2018» »). Метод оптимизации контрфактической справедливости также попадает в эту категорию («Russell et al., NIPS2017»).

Минусы:

Нет необходимости изменять классификатор.
Нет необходимости получать доступ к конфиденциальным атрибутам во время тестирования.
В общем, предварительная обработка может использоваться только для оптимизации статистической четности или индивидуальной справедливости (если указана метрика), поскольку она не имеет информации о метке Y.

5.2 Оптимизация во время обучения

По показателям точности и справедливости уступает двум другим методам.
Хорошие показатели точности и справедливости.