Изучение влияния кодирования защищенных атрибутов на справедливость в машинном обучении

Мы изучим мир кодирования категориальных атрибутов и его значение для моделей машинного обучения с точки зрения точности и справедливости. Категориальные атрибуты, такие как страна рождения или этническая принадлежность, играют решающую роль в определении наличия конфиденциальной информации в данных. Однако многим алгоритмам машинного обучения трудно напрямую обрабатывать категориальные атрибуты, что требует использования методов кодирования для преобразования их в числовые признаки, которые могут использовать модели. Кроме того, мы изучаем значение межсекционной инженерии справедливости.

Этот блог содержит краткое изложение нашего доклада на конференции Искусственный интеллект, этика и общество (AIES’23), Последствия кодирования защищенных категориальных атрибутов для справедливости, [ссылка].

TLDR. Кодирование защищенных атрибутов улучшило производительность модели, но также увеличило количество нарушений справедливости. Их можно согласовать путем регуляризации целевого кодирования. Технический перекрестный защищенный атрибут (Gender-Race) повышает производительность, но значительно увеличивает количество нарушений справедливости.

Введение

Конфиденциальные атрибуты играют центральную роль в справедливости, как и их обработка на протяжении всего конвейера машинного обучения. Многие алгоритмы машинного обучения требуют, чтобы категориальные атрибуты были должным образом закодированы как числовые данные, прежде чем они будут переданы в алгоритмы.

Каковы последствия кодирования категориальных защищенных атрибутов?

Типы индуцированной предвзятости

Мы исследуем два типа смещений, которые могут возникнуть из-за этих методов кодирования: неустранимое смещение и уменьшаемое смещение:

  • Непреодолимая систематическая ошибка. Это относится к (прямой) групповой дискриминации, возникающей в результате классификации групп по ярлыкам: дополнительные данные о сравниваемых группах не уменьшают этот тип систематической ошибки. В наборе данных COMPAS криминальная этническая принадлежность имела первостепенное значение при определении показателей рецидивизма; численное кодирование крупных этнических групп, таких как афроамериканцы или кавказцы, может привести к дискриминации, что является несправедливым следствием непреодолимой предвзятости.
  • Уменьшаемое смещение: возникает из-за дисперсии при кодировании групп с небольшим статистическим представлением, иногда дажеочень мало экземпляров группы. Уменьшаемая систематическая ошибка может быть обнаружена и введена при кодировании категории этнической принадлежности арабский, которая редко представлена ​​в данных, вызывая большую дисперсию выборки, которая заканчивается почти случайным и нереалистичным кодированием.

Методы кодирования

Одно горячее кодирование: это наиболее распространенный метод кодирования категориальных функций, а также метод по умолчанию в литературе по справедливости.

  • Целевое кодирование: категориальные признаки заменяются средним целевым значением каждой соответствующей категории. Этот метод обрабатывает категориальные данные с высокой кардинальностью, и категории упорядочены. Основной недостаток целевого кодирования проявляется, когда категории с небольшим количеством выборок заменяются значениями, близкими к желаемому целевому. Это вносит смещение в модель, поскольку она чрезмерно доверяет целевому закодированному признаку и делает ее склонной к переоснащению и уменьшаемому смещению.

Кроме того, этот тип кодирования допускает регуляризацию. В этой статье мы изучаем два типа регуляризации (в блоге мы изучаем только гауссову)

Эксперименты

Для прогнозирования производительности мы используем показатели AUC и справедливости. Между контрольной группой (r) и группой, которую мы хотим сравнить (i). Z — защищенный атрибут, а \hat{Y} — прогноз модели.

Демографический паритет

Равные возможности Справедливость

Средние абсолютные шансы

Экспериментальная гипотеза

Кодирование защищенного атрибута

  1. Улучшает производительность
  2. Увеличивает количество нарушений справедливости
  3. Производительность и справедливость могут быть согласованы с регуляризацией целевого кодирования.

В ходе эксперимента мы показали, что наиболее часто используемый метод категориального кодирования в литературе по честному машинному обучению, горячее кодирование, обеспечивает большую дискриминацию в отношении справедливости равных возможностей, чем целевое кодирование. Однако целевое кодирование показывает многообещающие результаты. Целевое кодирование с использованием гауссовой регуляризации показывает улучшения при наличии обоих типов смещений с риском заметной потери производительности модели в случае чрезмерной параметризации.

Межсекционная справедливость

В стремлении к справедливости в машинном обучении важно признать сложное взаимодействие атрибутов и их влияние на различение. В этом разделе рассматривается влияние кодирования категориальных атрибутов на перекрестную справедливость с упором на выводы, полученные из набора данных COMPAS. Мы выдвинули гипотезы, касающиеся потенциальной деградации честности из-за инженерии атрибутов, склонности к категориальному кодированию для усиления дискриминации и эффективности методов регуляризации в смягчении перекрестных предубеждений.

Чтобы изучить влияние кодировок на перекрестную справедливость, мы анализируем связанные атрибуты «Этническая принадлежность» и «Семейное положение» в наборе данных COMPAS. Выбрав в качестве эталона группу «Европейские замужние», мы сравниваем максимальное нарушение справедливости во всех группах. Чтобы облегчить понимание, мы используем обобщенную линейную модель из предыдущего раздела и подчеркиваем показатель справедливости равных возможностей, который согласуется с поведением других показателей справедливости.

На приведенном выше рисунке наглядно показано, как конкатенация атрибутов создает пересекающиеся атрибуты и усугубляет нарушения справедливости, обеспечивая эмпирическую поддержку нашей первой гипотезы. Примечательно, что даже когда защищенные атрибуты не закодированы (представлены горизонтальными линиями), максимальное нарушение справедливости существенно возрастает с 0,015 для «этнического» или 0,08 для «семейного положения» до 0,16 для межсекционного атрибута. Этот вывод подтверждает основополагающую работу Кимберл Креншоу 1958 года, которая пролила свет на то, как различные формы угнетения пересекаются и усугубляют дискриминацию маргинализированных групп.

Более того, наша вторая гипотеза подтверждается наблюдением, что оба метода кодирования приводят к более высоким нарушениям равных возможностей по сравнению с отсутствием кодирования защищенного атрибута. Это подчеркивает роль кодирования в усилении дискриминации. Однако есть проблеск надежды: за счет регуляризации целевого кодирования справедливость может быть повышена. Этот результат согласуется с нашим теоретическим пониманием, поскольку конкатенация атрибутов может ухудшить справедливость за счет увеличения как неустранимых, так и устранимых смещений.

Выводы

Наше исследование подчеркивает важную роль кодирования категориальных атрибутов в балансировании точности и справедливости модели в машинном обучении. Мы определили два типа предубеждений, неустранимые и устранимые, которые могут возникнуть из-за кодирования категориальных атрибутов.

Путем теоретического анализа и эмпирических экспериментов мы обнаружили, что горячее кодирование демонстрирует большую дискриминацию, чем целевое кодирование. Однако многообещающие результаты наблюдаются при регуляризованном целевом кодировании, которое показывает потенциал для повышения справедливости при сохранении приемлемой производительности модели.

Мы подчеркиваем важность рассмотрения последствий кодирования категориальных защищенных атрибутов, поскольку небольшие изменения в подходе к кодированию могут привести к улучшению справедливости без значительных жертв в точности прогнозирования.

Между строк

В последние годы мы видели алгоритмические методы, направленные на повышение справедливости в системах, управляемых данными, со многих точек зрения: сбор данных, предварительная обработка, обработка и постобработка. В этой работе мы сосредоточились на том, как кодирование категориальных атрибутов (общий этап предварительной обработки) может согласовать качество и справедливость модели.

Общим основанием большей части работы в области добросовестного ОД является предположение о том, что компромисс между справедливостью и точностью может потребовать сложных методов или сложного выбора политики [Rodolfa et al.]

Поскольку целевое кодирование с регуляризацией легко выполнить и не требует значительных изменений в моделях машинного обучения, в будущем его можно будет изучить в качестве подходящего дополнения к методам обработки в справедливом машинном обучении.

Мы призываем отраслевых специалистов рассмотреть последствия кодирования категориальных защищенных атрибутов. С небольшими изменениями в подходе к кодированию можно добиться улучшения объективности без существенного ущерба для эффективности прогнозирования. Однако важно понимать, что использование честных методов ИИ не гарантирует честность сложных социотехнических систем.

Ограничения. Эта работа призвана показать, каковы некоторые последствия кодирования категориальных защищенных атрибутов в любой момент. Следует понимать, что в любой ситуации кодирование категориальных защищенных атрибутов не повысит показатели справедливости; мы выступаем за рассмотрение эффектов регуляризации кодирования по оси справедливости, а не только по оси эффективности прогнозирования. Методы справедливого ИИ не обязательно гарантируют справедливость сложных социально-технических систем на основе ИИ.

Благодарности

Эта работа финансируется исследовательской и инновационной программой Horizon 2020 Европейского Союза в рамках программы Marie Sklodowska-Curie Actions (номер соглашения о гранте 860630) для проекта «NoBIAS — искусственный интеллект без предвзятости»

Отказ от ответственности

Эта работа отражает только точку зрения авторов, и Европейское исполнительное агентство по исследованиям (REA) не несет ответственности за любое использование содержащейся в ней информации.

Цитировать

@inproceedings{fairEncoder,
author = {Mougan, Carlos and Alvarez, Jose M. and Ruggieri, Salvatore and Staab, Steffen},
title = {Fairness Implications of Encoding Protected Categorical Attributes},
year = {2023},
url = {https://arxiv.org/abs/2201.11358},
booktitle = {Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society},
location = {Montreal, Canada},
series = {AIES '23}
}