Ландшафт и пробелы в наборах инструментов обеспечения справедливости с открытым исходным кодом

С появлением большого количества литературы, посвященной оценке и смягчению несправедливых результатов в алгоритмах, недавно появилось несколько «инструментов справедливости» с открытым исходным кодом, чтобы сделать такие методы широко доступными. Однако мало изучены различия в подходах и возможностях существующих наборов инструментов обеспечения справедливости, а также их пригодность для использования в коммерческих условиях. Поскольку эти наборы инструментов должны быть интегрированы в процесс построения модели разработчиками, они могут помочь улучшить тестирование справедливости и смягчение последствий в масштабе всех доменов (если и где это уместно). С другой стороны, существует риск того, что эти наборы инструментов будут применены к неподходящему варианту использования, неверно истолкованы без учета допущений или ограничений реализованных методов и/или неправильно использованы (преднамеренно или иным образом) в качестве ошибочной сертификации честности алгоритма.

В настоящее время нет доступных общих и сравнительных указаний о том, какой инструмент полезен или подходит для какой цели или аудитории. Это ограничивает доступность и удобство использования наборов инструментов и приводит к риску того, что практикующий врач выберет неоптимальный или неподходящий инструмент для своего варианта использования или просто будет использовать первый найденный инструмент, не осознавая, какой подход он выбирает по сравнению с другими.

Этот пост в блоге резюмирует недавнюю статью, которую я написал вместе с Джатиндером Сингхом (2020) на тему Ландшафт и пробелы в наборах инструментов справедливости с открытым исходным кодом. В исследовании смешанного метода мы используем фокус-группы, интервью и опросы, чтобы оценить текущие возможности наборов инструментов обеспечения справедливости с открытым исходным кодом и сообщить об основных пробелах и ограничениях, которые необходимо устранить, чтобы помочь специалистам отрасли эффективно тестировать и смягчать несправедливость. результатов в своих моделях машинного обучения.

Сильные и слабые стороны наборов инструментов справедливости с открытым исходным кодом

В приведенной ниже таблице, воспроизведенной из статьи, сравниваются функции шести наборов инструментов: scikitfairness / scikit-lego, Fairness 360, инструмент Aequitas, инструмент Что, если, аудит-ИИ и Fairlearn. Эти наборы инструментов были определены и рассмотрены в ходе Ethics DataDive с DataKind UK.

Таблица содержит список наборов инструментов и типов охваченных моделей: проблемы регрессии, проблемы классификации (только бинарные или мультиклассовые) и/или проблемы с защищенными функциями нескольких классов. Подмножество наборов инструментов обрабатывает регрессию (прогнозирование непрерывной переменной, например дохода), а также классификацию (прогнозирование дискретной переменной, например одобренного или отклоненного кредита). Некоторые наборы инструментов могут обрабатывать только бинарные защищенные / конфиденциальные функции (например, мужчины и женщины), в то время как другие поддерживают функции нескольких классов (например, возрастные или расовые группы). Как будет показано в следующем разделе, специалисты-практики ищут инструменты, совместимые с их моделью, и при работе над проблемой регрессии можно сразу исключить два из этих наборов инструментов. В таблице также содержатся показатели справедливости и методы устранения угроз, поддерживаемые инструментом. Наиболее полным из них является Fairness 360 с более чем 70 метриками, хотя в нем основное внимание уделяется проблемам бинарной классификации с некоторой поддержкой многоклассовой классификации и без поддержки регрессии.

Одной из возможных путаниц являются различия в терминологии и определениях одной и той же метрики. Например, разница в равных возможностях является синонимом ложноотрицательной разницы в коэффициентах, а равные шансы проверяют как ложноположительные, так и ложноотрицательные различия в коэффициентах.

Большинство этих инструментов также ориентированы на показатели справедливости на уровне группы, в то время как только инструмент «Что, если» ориентирован на справедливость на индивидуальном уровне. Fairness 360 поддерживает некоторые отдельные показатели честности (искажение выборки).

Из-за разнообразия метрик справедливости пользователю особенно сложно определить, какая метрика подходит для каждого варианта использования. Наборы инструментов имеют разные подходы к тому, чтобы направлять пользователей в отношении того, какие метрики подходят для любого варианта использования.

Пробелы в наборах инструментов справедливости с открытым исходным кодом

Основные пробелы выявились как в ходе интервью, так и в ходе опросов, о чем сообщается ниже в трех разделах: удобство использования, функции инструментария и контекстуализация.

1. Для использования наборов инструментов требуется крутая кривая обучения и ограниченные рекомендации по выбору показателей
2. Перегрузка информацией или чрезмерное упрощение сложных результатов
3. Необходимость «перевода» для нетехнической аудитории
4. Доступность процесса поиска инструментария
5. Ограниченный охват модельного конвейера
6. Ограниченная информация о возможных стратегиях смягчения последствий
7. Ограниченная адаптация существующих наборов инструментов к индивидуальному варианту использования
8. Проблемы с интеграцией инструментария в существующую конвейерную модель

В этом сообщении в блоге будет представлен краткий обзор каждого из этих 8 выявленных пробелов.

Недостатки: удобство использования

1. Для использования наборов инструментов требуется крутая кривая обучения и ограниченное руководство по выбору показателей

В отличие от воспринимаемой важности для руководства, оценки шести наборов инструментов для руководства для пользователей, не знакомых с литературой по справедливости получили в среднем 2,87–3,67 из 5. В таблице ниже приведены средние баллы по шкале удобства использования системы (SUS) из 100 и его стандартное отклонение. Систематическое исследование SUS показало, что продукты, которые, по крайней мере, удовлетворительны, имеют баллы SUS выше 70, а лучшие продукты имеют баллы от 70 до 80. Почти половина опрошенных согласились или полностью согласились со следующим: Мне нужно было многому научиться, прежде чем я смог приступить к работе с этой системой [набор инструментов справедливости].

2. Перегрузка информацией или чрезмерное упрощение сложных результатов

При рассмотрении визуализации и руководства опрошенные и респонденты опроса часто расходились во мнениях относительно уровня детализации. Некоторые респонденты сочли объем предоставляемой информации непомерно сложным, в то время как другие отдали предпочтение подробному интерфейсу. Один из респондентов сказал о приборной панели Fairlearn, что «это делает все четким, чего на самом деле нет в дикой природе».

Учитывая, что могут быть различия в уровне детализации, который требуется каждому пользователю для его или ее цели, идеальный инструментарий должен иметь как (i) ряд опций в пользовательском интерфейсе, которые позволяют пользователю глубоко погрузиться и нарезать анализы и (ii) простой в использовании интерфейс, который шаг за шагом направляет пользователя.

3. Необходимость «перевода» для нетехнической аудитории

Наборы инструментов были не только сложными для практиков в области науки о данных, не имеющих опыта работы в области справедливости, но и в подавляющем большинстве случаев были оценены как сложные для нетехнических пользователей, особенно в отношении создания визуализаций, руководств и пользовательского интерфейса, с которыми могут работать люди, не имеющие знаний в области математики. статистика и информатика. Это приводит к разрыву между анализом, проведенным практиками, и тем, что может понять бизнес-функция.

4. Доступность процесса поиска инструментария

Почти все опрошенные утверждают, что «используют поисковую систему и перебирают результаты до тех пор, пока не будет найден тот, который соответствует их критериям, и дальнейший поиск не проводится». Только один опрошенный сообщил, что «всесторонне изучил все доступные наборы инструментов, чтобы сравнить сильные и слабые стороны, прежде чем выбрать оптимальный инструмент». Всех респондентов спросили, использовали ли они какой-либо из шести наборов инструментов (допускается множественный выбор) и были ли какие-либо другие наборы инструментов, с которыми они были знакомы, но не были перечислены. Только один респондент сказал, что знает о другом наборе инструментов: FAT Forensics, выпущенном в конце 2019 года в результате сотрудничества Бристольского университета и Thales. В целом, отсутствие других наборов инструментов, с которыми были знакомы практики, предполагает, что этот ландшафтный охват был достаточно репрезентативным для изучения таких вопросов.

Пробелы: функции инструментария

1. Ограниченный охват модельного конвейера

Наборы инструментальных средств явно сосредоточены на построении модели и процессе ее оценки по сравнению с оставшимся жизненным циклом модели. Некоторые конкретно упомянутые пробелы заключались в проверке того, является ли набор данных репрезентативным для более широкой совокупности и есть ли объекты, выступающие в качестве прокси защищенных объектов, например. почтовый индекс для расы или род занятий для пола. Один из опрошенных заявил, что основной пробел заключается в отсутствии наборов данных для сравнительного анализа или точки отсчета того, существует ли предвзятость при отборе в процессе сбора данных. Другой собеседник предположил, что должен быть способ понять, какие входные функции потенциально действуют как прокси для защищенных функций, «особенно когда разработка функций была выполнена человеком». Респондент также отметил, что «анализ должен изучить идею прокси, что мы сегодня делаем вручную».

2. Ограниченная информация о возможных стратегиях смягчения последствий

Было сильно смешанное количество энтузиазма по поводу инструментов, которые предлагали «сглаживающие» реализации предварительной обработки, внутренней обработки и постобработки. Несколько опрошенных скептически отнеслись к этим методам, а один заявил, что они «опасны, потому что выглядят простыми, но не решают никаких проблем. Это как уловка… она не решает основных проблем предвзятости, которые у вас могут быть». Другой опрошенный отметил, что некоторые инструменты смягчения предвзятости могут не соответствовать антидискриминационным законам, особенно те, в которых явно используется охраняемый признак (например, раса) для предоставления преференциального режима, и подчеркнул, что смягчение последствий «не всегда может быть техническим решением».

С другой стороны, несколько других опрошенных положительно оценили эти реализации. Один из опрошенных отметил, что «отсутствие смягчающих действий некоторых инструментов оставляет огромный пробел в знаниях, который должны заполнить специалисты по обработке и анализу данных».

Пробелы: контекстуализация

1. Ограниченная адаптация существующих наборов инструментов к индивидуальному варианту использования

Самый сильный консенсус в отношении идеального инструментария справедливости заключался в важности «способности адаптироваться к конкретному контексту использования и данным». Существующие наборы инструментов были оценены по этому критерию в среднем на 3,24 из 5, при этом аудит-ИИ получил самый низкий балл — 2,71, а Справедливость 360 — самый высокий — 3,73, при этом несколько опрошенных отметили, что для применения наборов инструментов потребуется дополнительная работа. к вариантам их использования.

2. Проблемы с интеграцией инструментария в существующую конвейерную модель

Еще одним моментом консенсуса была важность простоты интеграции инструментария в рабочий процесс и конвейер построения модели. Тем не менее, наборы инструментов получили среднюю оценку 3,24 за простоту интеграции, с самой низкой оценкой 2,47 для инструмента «Что, если» и самой высокой оценкой 3,93 для Scikit-справедливости. Часть проблемы интеграции заключалась в необходимости загрузки наборов данных за пределы локального рабочего стола.

В часто задаваемых вопросах инструмента «Что, если» говорится: «WIT [инструмент Что, если] использует предварительно обученные модели и полностью работает в браузере. Мы не храним, не собираем и не передаем наборы данных, загруженные в инструмент «Что, если». При использовании инструмента внутри TensorBoard доступ к этому экземпляру TensorBoard можно контролировать с помощью флага авторизованной_группы командной строки для TensorBoard. Любой, у кого есть доступ к экземпляру TensorBoard, сможет видеть данные из наборов данных, которые экземпляр имеет разрешения загружать с диска. При использовании WIT внутри colab доступ к данным контролируется ядром colab, что выходит за рамки WIT».

Аналогичным образом инструмент Aequitas, несмотря на то, что у него есть настольная версия, также имеет веб-приложение, через которое пользователь может загрузить набор данных с подписью: «Загружаемые вами данные используются для создания аудиторского отчета. Пока данные удаляются, мы храним аудиторский отчет бессрочно. Если ваши данные являются конфиденциальными и конфиденциальными, мы рекомендуем вам использовать настольную версию инструмента аудита».

Казалось бы, это было барьером для многих опрошенных и респондентов опроса. Один из респондентов сказал, что любой набор инструментов с какой-либо внешней обработкой, даже если набор данных не хранится, «потребует очень большого объема управления и проверки безопасности, чтобы его можно было использовать с корпоративными данными».

Дополнительные соображения

Для фокус-группы и интервью были целенаправленно отобраны и отобраны специалисты-практики, обладающие опытом в области справедливости; таким образом, результаты являются репрезентативными только для тех, у кого уже есть понимание типичных проблем справедливости. Однако тот факт, что на обоих этих этапах были обнаружены пробелы и ограничения, особенно в отношении удобства использования и интерпретируемости наборов инструментов и их руководства, предполагает, что кривая обучения может быть на самом деле намного более крутой для среднего практикующего врача с более ограниченным доступом к показателям справедливости.

Было ясно, что пользовательский интерфейс с универсальным приспособлением для практиков с предварительным пониманием справедливости ограничивает доступность этих наборов инструментов. У разных пользователей разные предпочтения и потребности в интерфейсе. Ключевым примером этого является высокое стандартное отклонение в рейтинге опроса важности математических определений в руководстве по набору инструментов (среднее значение: 4,04/8, стандартное отклонение: 2,79) и ранжирование важности визуализаций, которые полезны для неспециалистов. -техническая аудитория (среднее значение: 4,48/8, стандартное отклонение: 2,57). Как отмечалось в интервью, некоторым специалистам-практикам, имеющим опыт работы в области статистики, может потребоваться подробное математическое определение, в то время как тем, кто ищет быстрое подтверждение концепции, может потребоваться простой пользовательский интерфейс для обзора заинтересованными сторонами.

Также важно учитывать, являются ли наборы инструментов с обязательно редукционистскими определениями справедливости подходящими и полезными с общественной точки зрения. Несколько ученых возражали против автоматизации оценки справедливости, потому что эти инструменты не учитывают социально-техническую систему, тонкие философские и этические дебаты и правовой контекст того, что значит быть справедливым. Для Fairness 360, отвечая на вопрос, следует ли вообще использовать этот инструмент, руководство предупреждает, что инструмент применяется к ограниченным настройкам и предназначен в качестве отправной точки для более широкого обсуждения. Специалисты-практики, участвовавшие в интервью и опросе, в целом положительно отреагировали на понятие инструментария обеспечения справедливости, помогающего разобраться в чрезвычайно сложном вопросе, но некоторые из них выразили озабоченность по поводу фальсификации справедливости (стирка справедливости), выбрав метрику, на основе которой были удовлетворены, и за ложную уверенность, которую наборы инструментов могут дать разработчику модели на основе неполной или частичной оценки справедливости. В будущей работе можно было бы подробно изучить заявления об отказе от ответственности и ограничения, описанные для каждого из наборов инструментов, и выяснить, соответствуют ли они академическому пониманию пригодности каждого реализованного метода.

Вывод

Инструментарий обеспечения справедливости появился относительно недавно, особенно за последние два года, и несколько опрошенных были удивлены, узнав об их наличии и разнообразии. Только 54% ​​респондентов ранее использовали какой-либо набор инструментов для обеспечения справедливости с открытым исходным кодом, несмотря на нашу выборку групп, которые, вероятно, сталкивались с проблемами, связанными с справедливостью. В связи с растущим вниманием к вопросам справедливости важно, чтобы любые инструменты обеспечения справедливости были доступны, удобны в использовании и соответствовали своему назначению. Этот документ может помочь в разработке будущих инструментов, чтобы преодолеть разрыв между внедрением методологий в академических кругах и их применимостью в реальных отраслевых контекстах.

Практики отрасли все еще пытаются найти способ выявить и смягчить потенциальную несправедливость в своих моделях и системах. Только внимательно следя за требованиями и предпочтениями практиков, разработчики открытого исходного кода могут обеспечить широкое распространение своих наборов инструментов. Инструментарий был разработан, чтобы побудить разработчиков моделей лучше осознавать потенциальные этические последствия их алгоритмов в связи с их влиянием на социальное неравенство. Эффективный инструментарий справедливости может способствовать развитию у практиков культуры рассмотрения и оценки несправедливых результатов в своих моделях, в то время как плохо сформулированный или спроектированный инструментарий может породить ложную уверенность в ошибочных алгоритмах. Будущая разработка наборов инструментов должна сохранять бдительность, чтобы гарантировать, что их внедрение соответствует главной цели: гарантировать, что наши алгоритмы отражают наши этические ценности недискриминации и справедливости.