Распознавание дискриминации в алгоритмах

Мы формируем наши инструменты, а затем наши инструменты формируют нас — Маршалл Маклюэн

#tldr Любой алгоритм может — и часто будет — воспроизводить ошибки, присущие используемым данным. Проблема принимает различные формы и может страдать от преднамеренных манипуляций. Сокрытие нашего процесса принятия решений в черных ящиках явно не годится. Вопрос «Что мы можем сделать?» это непросто и потребует голоса многих заинтересованных сторон. Вот несколько откровений и вопросов, которые можно задать себе и коллегам, чтобы помочь вам в вашем путешествии.

Машинное обучение и алгоритмы становятся все более доступными для всех, у кого есть время и мотивация, благодаря открытому и демократизированному сообществу компьютерных наук. В моем последнем посте мы обсуждали последствия использования этих инструментов вслепую в контексте человеческой жизни. Мы показали, что широко распространенное пренебрежение к получению адекватного понимания причинно-следственного механизма, стоящего за вашими данными, приводит к косвенным предубеждениям и дискриминации в различных аспектах общественной жизни (прием на работу, правосудие, здравоохранение и т. д.). Этот пост будет посвящен тому, чтобы вооружить вас знаниями, позволяющими распознавать некоторые случаи, и предложить некоторые идеи, которые помогут направить разговор в сторону конструктивного размышления в вашем кругу общения.

Различные виды зла

Восприятие связано с ожиданием. Учащиеся, как правило, получают более низкие баллы на тестах IQ, когда учителя ожидают от них плохой успеваемости; Медикаментозное лечение может вызвать эффект плацебо, влияющий на боль; Ожидание определенного визуального сигнала облегчает восприятие этого объекта, но затрудняет восприятие объекта из другой категории. Это эволюционное проклятие, которое позволяет эффективно обобщать окружающий мир, но одновременно создает огромные белые пятна в различных ситуациях.

Как бы то ни было, предубеждения и дискриминация проявляются во многих формах, иногда преднамеренных или непреднамеренных, и только самые распространенные из них очевидны. Не зная об их различных формах и размерах, вы рискуете не распознать их такими, какие они есть. В этом разделе делается попытка обобщить несколько проявлений дискриминации, а также дополнительные проблемы, на которые следует обратить внимание при их применении машинного обучения. Он также направлен на то, чтобы обеспечить некоторый предмет для обсуждения, чтобы направить общий разговор на конструктивную основу.

  1. Явная дискриминация:явно показано, что принадлежность к защищенному классу имеет худший результат, чем незащищенный, из-за явного порога.
  2. Красная черта: Практика произвольного отказа или ограничения финансовых услуг для определенных районов, как правило, потому, что его жители являются цветными или бедными.
  3. Непропорциональное сокращение: вариант «красной черты», при котором защищенный класс не обязательно должен составлять большинство населения «красной черты»; пропорция может быть только непропорциональной по сравнению с населением в целом.
  4. Избыточное кодирование: представление о том, что защищенный класс может быть закодировано в незащищенных атрибутах, поэтому удаление исходной переменной (например, пол или раса) не препятствуют дискриминации алгоритма.
  5. Самоисполняющееся пророчество: преднамеренный выбор «плохого яблока» членов населения, чтобы создать негативный «послужной список» для оправдания дискриминационные действия (например, пометка всего населения как плохого)
  6. Обратный токенизм.В банковском деле идея отказа высококредитоспособному лицу в ссуде, чтобы банк мог опровергнуть обвинения в дискриминации определенных классов.
  7. Историческая предвзятость: данные не создаются в вакууме и будут распространять предвзятость, присущую обществу, из которого они происходят, если их не принимать во внимание.
  8. Предвзятость приобретения. Большинство наборов данных появляются в результате беспорядочного процесса. Методология сбора данных и модели, забытые и утраченные в процессе, оставляют ограниченное понимание статистических проблем, таких как рандомизированная выборка или надлежащий охват населения.
  9. Небаланс ресурсов: люди с большим количеством ресурсов могут лучше подготовиться к определенным социальным процессам. Это становится особенно очевидным и острым в судебных делах, где качество и количество адвокатов защиты являются определяющими факторами в результатах.
  10. Внешние обстоятельства. Ряд факторов в вашей жизни, с которыми вы не имеете ничего общего, но статистически предрасполагают вас к определенному результату (например, из плохого района).

Что ты можешь сделать?

Во время одной из своих презентаций Абэ Гонг предложил ряд вопросов (к которым я добавил несколько своих), чтобы задать их коллегам, чтобы спровоцировать разговор и повысить осведомленность. Конечно, это предложения, и я хотел бы услышать ваши собственные мысли в разделе комментариев.

1. Измеряете ли вы то, что, по вашему мнению, измеряете?

Это самая большая точка отказа в большинстве приложений машинного обучения, и она почти преднамеренная. На большинстве вводных курсов вы встретите поговорку: ML — это поиск шаблонов на основе заданной взаимосвязи между входными и выходными данными. Это соблазнительно простая концепция, но добиться понимания любых явлений реального мира сложнее, чем кажется (например, ложные корреляции). Есть множество вещей, которые мы не можем легко измерить у человека (например, способность к самоконтролю, отсроченное удовлетворение) и еще меньше, имея доступ только к его онлайн-профилю и активности.

Чтобы получить некоторую меру точности, практикующим специалистам предлагается, если не поощряется, использовать любые доступные данные для построения пространства отличительных признаков. Все готово для захвата, но в этом процессе мы редко достигаем уровня понимания, который позволяет нам окончательно сказать что-либо о чем-либо. Машина должна учиться, а не мы.

Если она когда-либо действительно будет полезна обществу (а не только рынку, который ее использует), нам нужно

  1. Будьте осторожны, навешивая ярлыки на наборы функций, которые хорошо коррелируют с желаемым результатом (особенно если они, кажется, подразумевают причинно-следственную связь).
  2. Основывайте наши решения на тех свойствах, для которых известен достаточно подробный причинно-следственный механизм и которые считаются этически нейтральными.

2. Надежна ли статистика?

Возьмите листок из Программы NASA IV&V: если статистика имеет значение (т. е. большую часть времени), очень важно, чтобы кто-то неоднократно проверял вашу работу и задавал правильные вопросы. Предположения, лежащие в основе моделей, редко формулируются, не говоря уже о защите. Является ли метод устойчивым к некоторым отклонениям от предположений модели? Какие основания полагать, что допущения модели верны для изучаемой ситуации?

3. Вы исследовали статистическую четность?

Не существует (насколько я знаю) готового метода или инструментария, который легко борется с предубеждениями и дискриминацией за пределами поля битвы вашей новой прогностической модели. Один интересный подход, Статистическая четность, измеряет разницу между вероятностью того, что случайному индивидууму, выбранному из защищенного класса (например, женщине), присвоен номер 1, по сравнению со случайным индивидуумом из защищенного класса. класс дополнения. Когда эта разница невелика, говорят, что классификатор имеет "статистическую четность". Эта мера может помочь распознать определенный тип дискриминации, введенный в вашей модели, но она не устойчива ко всем ранее описанным порокам (особенно тем, которые связаны с умышленной дискриминацией). Когда в данных есть погрешность, точность измеряется в пользу кодирования этой погрешности. Это часто означает, что достижение объективности в проекте требует компромисса между высокой точностью (на необъективном наборе данных) и низким статистическим расхождением. (учитывая набор правил, налагаемых желаемой справедливостью).

4. Рассматривали ли вы аудит справедливости?

О, я только что сказал плохое слово? Налоговую проверку никто, конечно, не любит, какого хрена мне вообще такое предлагать? По всем веским причинам, которые вы можете придумать (несколько здесь). Не каждый случай машинного обучения должен находиться под безжалостным микроскопом правосудия, но большинство из них должны пройти честную внутреннюю проверку и проверку. Как ведет себя ваша система в случае необъективных данных? Это не только информирует вас на этическом уровне, но также служит интересам ваших компаний, чтобы знать и действовать в соответствии с этой информацией: Знание — сила.

5. Являются ли эти изменения во власти здоровыми?

Этот вопрос предлагает вам выйти за рамки переменных и рассмотреть, каково социальное уравнение вашей системы. Склоняет ли чашу весов в пользу меньшинства? Отдает ли ваш рейтинг неявное предпочтение более крупным корпорациям, а не местным предприятиям? Позитивны ли эти вещи для вашего местного сообщества или общества в целом? Эти вопросы не предназначены для того, чтобы привести вас к какой-либо форме морального суждения или единственному ответу, на самом деле, хорошее эмпирическое правило заключается в том, что если ответ единогласно «да», необходимо еще немного подумать . Цель состоит в том, чтобы привлечь как можно больше людей и собрать как можно больше информации о том, что люди думают и хотят, чтобы сформировать четкую картину ситуации. Этика и мораль менялись на протяжении всей истории.

6. Как мы можем уменьшить вред?

Приятно видеть серьезные разговоры на эту тему, но большинство из нас будет чувствовать себя не в состоянии распознать и в конечном итоге изменить коварные методы, которые мы непреднамеренно внедряем в свою работу. Не все должно лежать на плече разработчика; этот разговор выходит за рамки вашего компьютера и должен происходить на всех уровнях управления. В свете последствий, которые вы обнаружили, спросите своих коллег, что вы можете сделать как практикующий врач? Пока нет универсального решения; мы должны просить о помощи.

В итоге

  • Предубеждения и дискриминация проявляются во многих формах
  • Мы должны поощрять высочайший уровень профессиональной этики
  • Хорошая наука о данных требует надлежащей обработки ваших данных

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Исаак Азимов предложил это как первый закон робототехники. Интересно, как далеко мы продвинулись в этом поиске. Если мы хотим добиваться и получать выгоду от повышения уровня автоматизации, будь то с помощью роботов-гуманоидов или виртуальных агентов, важнейшие аспекты ответственности, прозрачности, контролируемости, неподкупность и предсказуемость неразрывно связаны с тем, как мы реализуем науку о данных будущего.

Возвращаясь к моему предыдущему сообщению: Критерии, применяемые к людям, выполняющим социальные функции, следует рассматривать как применимые в алгоритмах, призванных заменить человеческое суждение — Бостром. Все, что не соответствует этому, рискует увековечить и увековечить значительное количество наших собственных пороков в виде инструментов, в которые мы так искренне хотим верить, которые сделают жизнь каждого лучше.

Читать далее

Этот пост был в значительной степени вдохновлен выступлением Абэ Гонга, на котором я недавно имел удовольствие присутствовать. Если вы считаете, что это стоит прочитать, я настоятельно рекомендую вам взглянуть на работы следующих замечательных людей (в любом порядке): Суреш Венкат, John Moeller , Карлос Шайдеггер, Сорелл Фридлер, Мориц Хардт, Синтия Дворк, Деб Рой