Гендерная предвзятость в кредитном скоринге ИИ?

Несколько месяцев назад ряд пользователей Apple Card в США сообщали, что им и их партнерам были назначены совершенно разные кредитные лимиты по фирменной кредитной карте, несмотря на одинаковый доход и кредитный рейтинг (см. Статья BBC). Стив Возняк, соучредитель Apple, написал в Твиттере, что его кредитный лимит на карте был в десять раз выше, чем у его жены, несмотря на то, что у пары одинаковый кредитный лимит на всех остальных картах.

Департамент финансовых услуг Нью-Йорка, регулятор финансовых услуг, расследует утверждения о том, что пол пользователей может быть причиной несоответствия. Apple стремится указать, что за алгоритм отвечает Goldman Sachs, что, по-видимому, противоречит маркетинговому слогану Apple «Создано Apple, а не банком».

Поскольку расследование регулятора продолжается и предвзятость пока не доказана, в этой статье я пишу только гипотетически.

Предвзятость ИИ, используемого в системе правосудия

История с Apple Card — не единственный недавний пример алгоритмической предвзятости, попавший в заголовки. В июле прошлого года Национальная ассоциация содействия прогрессу цветного населения (NAACP) в США подписала заявление с требованием ввести мораторий на использование автоматизированных инструментов принятия решений, поскольку было доказано, что некоторые из них имеют расовую предвзятость при использовании. чтобы предсказать рецидивизм — другими словами, насколько вероятно, что правонарушитель совершит повторное преступление.

В 2013 году Эрик Лумис был приговорен к шести годам тюремного заключения после того, как штат Висконсин использовал программу под названием COMPAS для расчета его шансов на совершение другого преступления. COMPAS — это проприетарный алгоритм, внутренняя работа которого известна только его поставщику Equivant. Лумис попытался оспорить использование алгоритма в Верховном суде Висконсина, но в конечном итоге его протест был отклонен.

К сожалению, подобные инциденты только усугубляют широко распространенное восприятие ИИ как опасного инструмента, непрозрачного, недостаточно регулируемого, способного кодировать худшие из предрассудков общества.

Как ИИ может быть предвзятым, расистским или предвзятым? Что пошло не так?

Я сосредоточусь здесь на примере заявки на получение ссуды, так как эту проблему проще сформулировать и проанализировать, но сделанные мною выводы можно обобщить на любой вид предубеждений и защищенных категорий.

Прежде всего я хотел бы отметить, что я сильно сомневаюсь, что кто-либо в Apple или Goldman Sachs сел и создал четкий набор правил, учитывающих пол при принятии решений по кредитам.

Давайте, прежде всего, представим, что мы создаем модель машинного обучения, которая предсказывает вероятность невыплаты кредита человеком. Существует ряд «защищенных категорий», таких как пол, по которым нам не разрешено дискриминировать.

Разработка и обучение ИИ для принятия решения о кредите — это своего рода «ванильная» проблема науки о данных, которая регулярно всплывает на Kaggle (веб-сайт, который позволяет вам участвовать в конкурсах по науке о данных) и о которой начинающие специалисты по данным могут ожидать, что их спросят на собеседовании. Рецепт изготовления робота-кредитора следующий:

Представьте, что у вас есть большая таблица из 10 000 строк, в которой все данные о соискателях кредита, которых ваш банк видел в прошлом:

Последний столбец — это то, что мы хотим предсказать.

Вы должны взять эти данные и разделить строки на три группы, называемые обучающим набором, проверочным набором и тестовым набором.

Затем вы выбираете алгоритм машинного обучения, такой как линейная регрессия, случайный лес или нейронные сети, и позволяете ему «учиться» на обучающих строках, не позволяя ему видеть строки проверки. Затем вы тестируете его на проверочном наборе. Вы промываете и повторяете для разных алгоритмов, каждый раз настраивая алгоритмы, и модель, которую вы в конечном итоге развернете, будет той, которая набрала самые высокие баллы в ваших строках проверки.

Когда вы закончите, вам будет разрешено протестировать свою модель на тестовом наборе данных и проверить ее производительность.

Ошибка удаления столбца и ожидания исчезновения предвзятости от ИИ

Теперь очевидно, что если столбец «пол» присутствовал в обучающих данных, то существует риск построения предвзятой модели.

Однако специалисты по данным Apple/Goldman, вероятно, удалили этот столбец из своего набора данных с самого начала.

Так как же кредитор цифровых денег может быть гендерно предвзятым? Конечно же, наш алгоритм не может быть сексистским, верно? Ведь он даже не знает пол соискателя!

К сожалению и вопреки здравому смыслу, предвзятость все еще может проникнуть!

В нашем наборе данных может быть информация, которая является показателем пола. Например: срок пребывания на текущей работе, зарплата и особенно название должности могут соотноситься с тем, является ли наш кандидат мужчиной или женщиной.

Если на вашем очищенном наборе данных можно обучить модель машинного обучения для предсказания пола с любой степенью точности, то вы рискуете, что ваша модель случайно окажется гендерно предвзятой. Ваша модель прогнозирования кредита может научиться использовать неявные подсказки о поле в наборе данных, даже если она не может видеть сам пол.

Манифест беспристрастного ИИ

Я хотел бы предложить дополнение к рабочему процессу разработки ИИ: мы должны атаковать наш ИИ с разных сторон, пытаясь обнаружить любую возможную предвзятость, прежде чем внедрять его.

Недостаточно просто удалить защищенные категории из вашего набора данных, отряхнуть руки и подумать, что работа сделана.

Pen-тест предвзятости ИИ

Нам также нужно играть роль адвоката дьявола, когда мы разрабатываем ИИ, и вместо того, чтобы просто пытаться устранить причины предвзятости, мы должны попытаться доказать наличие предвзятости.

Если вы знакомы с областью кибербезопасности, то вы слышали о концепции пентеста или теста на проникновение. Человек, не участвовавший в разработке вашей системы, возможно, внешний консультант, пытается взломать вашу систему, чтобы обнаружить уязвимости.

Я предлагаю ввести пен-тесты ИИ: аналог пен-тестов для выявления и устранения предвзятости ИИ:

Что будет включать пен-тест ИИ

Чтобы проверить ИИ на предвзятость, либо внешний человек, либо внутренний специалист по данным, который не участвовал в разработке алгоритма, должен был попытаться построить прогностическую модель для восстановления удаленных защищенных категорий.

Итак, возвращаясь к примеру с кредитом, если вы удалили пол из своего набора данных, пен-тестер изо всех сил постарается создать прогнозную модель, чтобы вернуть его обратно. Возможно, вам следует заплатить им премию, если им удастся реконструировать пол с какой-либо степенью точности, отражая деньги, которые вы в противном случае потратили бы на устранение ущерба, если бы вы невольно отправили сексистскую модель прогнозирования кредита.

Дальнейшие стресс-тесты предвзятости ИИ

В дополнение к пен-тесту выше, я предлагаю следующие дополнительные проверки:

  • Разделите данные по полу.
  • Оцените точность модели для каждого пола.
  • Определите любую тенденцию к переоценке и недооценке вероятности дефолта для любого пола.
  • Определите любую разницу в точности модели в зависимости от пола.

Дальнейшие меры

Я не рассмотрел некоторые из наиболее очевидных причин предвзятости ИИ. Например, возможно, что сами обучающие данные необъективны. Это весьма вероятно в случае некоторых алгоритмов, используемых в системе уголовного правосудия.

Что делать, если вы обнаружили предвзятость?

Давайте предположим, что вы обнаружили, что обученный вами алгоритм действительно демонстрирует предвзятость в отношении защищенной категории, такой как пол. Ваши варианты смягчения этого:

Если пен-тест показал, что другой входной параметр, такой как должность, служит прокси для пола, вы можете удалить его, или попытаться запутать связанные с полом аспекты, или еще больше очистить данные до тех пор, пока не пройдет пен-тестер. не может реконструировать пол, вы можете реконструировать результат пен-теста, чтобы искусственно преобразовать ваши данные обучения, пока пол больше не будет обнаружен. вы можете вручную исправить внутреннюю работу вашей модели, чтобы компенсировать смещение, вы можете проверить свою тренировочную таблицу на смещение. Если ваш ИИ учится на предвзятых данных, мы не можем ожидать, что он будет беспристрастным. если ваши прогнозы менее точны для женщин, чем для мужчин, вполне вероятно, что у вас есть, например. больше тренировочных данных для мужчин, чем для женщин. В этих случаях вы можете использовать увеличение данных: вы дублируете каждую запись женского пола в своих данных, пока ваш набор обучающих данных не будет сбалансирован. вы также можете приложить все усилия, чтобы собрать дополнительные обучающие данные для недостаточно представленных категорий. вы можете попытаться сделать свою модель объяснимой и определить, где закрадывается предвзятость. Если вы заинтересованы в более подробном рассмотрении объяснимости машинного обучения, я приглашаю вас также прочитать мой предыдущий пост об объяснимом ИИ.

В сторону… предвзятость при найме?

Одно из применений этого подхода, которое мне было бы интересно исследовать дальше, — это устранение предвзятости, если вы используете машинное обучение для найма. Представьте, что у вас есть алгоритм, сопоставляющий резюме с вакансиями. Если он непреднамеренно обнаружит пробелы в резюме людей, которые соответствуют отпуску по беременности и родам и, следовательно, полу, мы рискуем получить дискриминационный ИИ. Я предполагаю, что это можно было бы компенсировать некоторыми из приведенных выше предложений, такими как настройка данных обучения и искусственное удаление такого рода сигналов. Я думаю, что пен-тест будет мощным инструментом для решения этой задачи.

Как компании могут избежать повторного появления предвзятости?

Сегодня крупные компании прекрасно осознают, что плохой PR может стать вирусным. Поэтому, если алгоритм Apple Card действительно предвзят, я удивлен, что никто не проверил алгоритм более тщательно перед его выпуском.

Различие кредитного лимита в 10 раз в зависимости от пола является вопиющей ошибкой.

Если бы специалисты по обработке и анализу данных, участвовавшие в разработке кредитного алгоритма или алгоритма прогнозирования рецидивизма, используемого в штате Висконсин, следовали приведенному выше контрольному списку для пен-тестирования и стресс-тестирования своих алгоритмов, я полагаю, они бы заметили PR-катастрофу до того, как она повлекла за собой шанс попасть в заголовки.

Конечно, легко обвинять постфактум, а наука о данных в крупной промышленности пока находится в зачаточном состоянии. Некоторые назвали бы это Диким Западом недостаточного регулирования.

Я думаю, мы также можем быть рады тому, что некоторые консервативные отрасли, такие как здравоохранение, еще не приняли ИИ для принятия важных решений. Представьте себе последствия, если алгоритм анализа меланомы или модель принятия решений по амниоцентезу окажется предвзятым по расовому признаку.

По этой причине я настоятельно рекомендую крупным компаниям, выпускающим алгоритмы в открытый доступ для принятия важных решений, начать выделять команду специалистов по данным, чья работа заключается не в разработке алгоритмов, а в их тестировании на проникновение и стресс-тестировании.

Исследователи данных, разрабатывающие модели, находятся в слишком большом дефиците времени, чтобы сделать это самостоятельно, и, как показал многолетний опыт индустрии кибербезопасности, иногда лучше, чтобы внешний человек играл роль адвоката дьявола и пытался сломать вашу систему. .

использованная литература

[1] С. Натараджан и С. Насирипур, Вирусный твит об Apple Card ведет к расследованию Goldman Sachs (2019), Bloomberg

[2] Сексистская кредитная карта Apple расследована регулирующим органом США (2019), BBC.

[3] Стейт против Лумиса (2017), Harvard Law Review.