Цель

Вступление

Фундаментальный принцип машинного обучения (ML) - «обучение на собственном примере». Более ясно, набор данных вводится в модель машинного обучения, и она пытается выявить закономерности в этих данных, чтобы справиться с поставленной задачей. Однако для модели не дается никаких ЯВНЫХ инструкций относительно того, какие шаблоны следует или не следует искать. Как прямое следствие, во многих случаях модель вырабатывает нежелательные гипотезы. Конкретно, принятие решений на основе данных настолько же надежно, насколько и данные, на которых оно основано.

Модели машинного обучения прочно укоренились в процессах принятия важных решений, таких как решения о найме, одобрение ссуд, выбор потенциальных клиентов и т. Д. Чрезвычайно важно, чтобы эти модели не были предвзятыми и относились ко всем справедливо. Например, данные Национального центра женщин и информационных технологий (NCWIT) показывают, что только 26% компьютерных профессий занимают женщины. Кроме того, только афроамериканские женщины составляют лишь 3% от этого числа. Очевидно, что модели, основанные на этих данных, будут изучать эти предубеждения и излишне наказывать меньшинства, несмотря на то, что они соответствуют требованиям для этой роли. Таким образом, важность использования методов измерения и устранения предвзятости в моделях машинного обучения невозможно переоценить.

Я прочитал приличное количество статей о методах измерения систематической ошибки, присутствующей в моделях машинного обучения. Однако ни один из них не смог объяснить концепции интуитивно понятным образом. Это побудило меня написать эту статью в надежде сломать некоторые из этих концепций и вызвать больший интерес к этой области, поскольку в ближайшем будущем она будет очень распространена. Мы действительно не хотим, чтобы машинное обучение увековечивало наши социальные предрассудки - что-то хорошее превращается в зло!

Защищенные / чувствительные атрибуты

Ниже приведены некоторые из наиболее распространенных атрибутов для оценки предвзятости:

  • Пол
  • Этническая принадлежность
  • Религия
  • Возраст
  • Семейное положение
  • Гражданство

Они известны как конфиденциальные или защищенные атрибуты, потому что в модели машинного обучения они не должны быть предвзятыми. В зависимости от функций, которые вы решили включить в свою модель, их может быть намного больше. Это непосредственно подводит нас к следующему важному понятию атрибутов PROXY. Делает ли модель беспристрастной простое удаление этих конфиденциальных атрибутов из ваших данных перед обучением? К сожалению, ответ - НЕТ. Это связано с тем, что некоторые атрибуты неявно содержат предубеждения, присутствующие в этих чувствительных атрибутах. Например, было показано, что район и почтовый индекс несут те же предубеждения, что и этническая принадлежность, что делает их косвенными атрибутами этнической принадлежности. Кроме того, в зависимости от решаемой проблемы эти атрибуты не всегда можно удалить. Следовательно, всегда нужно проводить тесты на справедливость, чтобы убедиться, что их модель беспристрастна.

Измерение смещения

Хорошо, теперь самое интересное! Как мы на самом деле выясняем, является ли модель предвзятой или нет? Это можно измерить по трем критериям - Независимость, Обособленность и Достаточность. По моему мнению, лучший способ понять эти критерии - это использовать интуитивно понятный пример, а не пытаться обернуть голову вокруг общей формулы, особенно с условными символами и символами независимости (ага!). Учитывая, что я недавно закончил обучение, я решил использовать решения о приеме в колледж в качестве основы для своего примера. Ниже приведена таблица, которую я создал, чтобы продемонстрировать некоторые быстрые вычисления.

Чувствительный атрибут выбора - пол и может принимать значения мужского и женского пола. Ярлык 1 означает «Вы были достаточно хороши! «И 0 означает« Однако вы были достаточно хороши ... ». Эта модель пытается воспроизвести процесс отбора кандидатов, и, таким образом, метки прогнозов показывают, кто был бы принят или отклонен, если бы мы заменили текущий процесс этой моделью.

Я также сформулирую уравнения, удовлетворяющие каждому из этих критериев для двоичного чувствительного атрибута, который можно легко расширить. Будем использоваться следующие обозначения:

  • чувствительный / защищенный атрибут
  • C = C (X, A) - изученный классификатор
  • Y целевая переменная

Независимость - равенство результатов / выбор

Пример: количество мужчин и женщин должно быть одинаковым!

Глядя на приведенный выше пример, мы можем подсчитать, что уровень принятия для мужчин составляет 4/6 = 66,67%, а для женщин - 1/4 = 25% (рассчитано с использованием прогнозируемой метки). Однако, чтобы соответствовать критериям независимости, процент отбора как самцов, так и самок должен быть одинаковым. Кроме того, если мы рассчитаем степень принятия данных, используемых для обучения модели, уровень принятия для мужчин составит 4/6 = 66,67%, а для женщин - 2/4 = 50%. Другими словами, чтобы удовлетворить критериям независимости, в большинстве случаев мы не можем создать идеальную модель (модель со 100% точностью), потому что обучающие данные не соответствуют критериям.

С точки зрения статистики, классификационные баллы не должны зависеть от чувствительного атрибута. Другой способ интерпретировать это состоит в том, что между оценками классификатора и чувствительным атрибутом должно быть 0 взаимной информации.

Общая формула,

Разделение - равенство ошибок (равенство результатов с учетом порога)

Пример: процент отказов мужчин и женщин, НЕСМОТРЯ на то, что они обладают достаточной квалификацией для приема (ложноотрицательный), должен быть одинаковым!

Это небольшое ослабление правила разделения, потому что в нем не упоминается, что частота ложных срабатываний также должна быть такой же, однако в нем раскрывается суть концепции. Этот критерий продвигает идею о том, что «к похожим людям следует относиться одинаково», то есть, если у нас есть набор кандидатов, которые, как мы знаем, достаточно квалифицированы для приема, не должно быть никакой предвзятости при выборе подмножества этих кандидатов для приема.

Разделение полезно рассматривать как меру равенства ошибок. Другими словами, шансы предсказать ложноположительный и ложноотрицательный для каждой группы должны быть одинаковыми. В приведенных выше данных частота ложных отрицательных результатов для мужчин = 1/4 = 25%, а частота ложных отрицательных результатов для женщин составляет 1/2 = 50%. Таким образом, данная модель не соответствует критериям разделения.

Одним из преимуществ этого критерия является то, что все еще можно изучить идеальную модель. Если модель имеет 100% точность, это означает, что модель удовлетворяет критерию разделения.

Общая формула,

Одна из причин того, что разделение может быть более желательным, чем независимость, заключается в том, что может существовать некоторая корреляция между чувствительной характеристикой и целевой переменной. Например, определенная компания может заявить, что на основе определенных показателей - CLV (общая ценность клиента), уровень дефолта и т. Д. - различная скорость выбора клиентов из разных групп является деловой необходимостью (не может соответствовать критериям независимости). Однако разделение допускает корреляцию только в пределах целевой переменной, то есть не должно быть предубеждений внутри группы людей, которые должны быть выбраны в качестве клиентов.

Достаточность - выбор отражает одинаковую точность для каждой группы (калибровка)

Пример: шансы мужчин и женщин получить достаточную квалификацию с учетом решения о приеме (прогнозируемая переменная) должны быть одинаковыми!

Этот критерий гарантирует, что чувствительный атрибут и целевая переменная Y не зависят от контекста. Другими словами, учитывая оценку, вероятность того, что истинная переменная равна 1, должна быть одинаковой для каждой группы. В нашем примере это означает, что полученный прогноз относительно того, следует ли принять кандидата или нет, точно отражает его квалификацию. Если это одинаково для мужчин и женщин, то мы можем с уверенностью сказать, что наша модель способна правильно узнать, что составляет хорошего кандидата, без предвзятости по признаку пола.

Этот критерий также дает возможность изучить идеальную модель. Мы введем формулу достаточности, прежде чем производить какие-либо вычисления, потому что достаточность менее интуитивно понятна, чем два других условия.

В данных примера,

P (Y = 1 | c = 1, A = Мужской) = ¾ = 75%; P (Y = 1 | c = 1, A = Женский) = 1/1 = 100%

Эти вероятности показывают, что критерий достаточности не соблюден. Эти цифры приводят нас к выводу, что модель не так точна, как предсказание соответствующей квалификации мужчин по сравнению с женщинами, подразумевая, что модель смещена в сторону мужчин. Исправить это в интересах колледжа, поскольку он принимает более квалифицированных студентов.

Практическая визуализация

Чтобы понять эти концепции, я вручную создал несколько графиков, чтобы прояснить, как эти критерии будут визуально выглядеть на практике. Еще раз, давайте предположим, что эти результаты получены из бинарного классификатора, в котором защищенный атрибут - это пол, имеющий значения мужской и женский. В большинстве сценариев результаты возвращаемых моделей машинного обучения указывают на то, что он предпочитает положительный класс, т. Е. У нас нет прогнозируемых МЕТКИ, как показано в приведенных выше примерах, а скорее прогнозируемых ОЧКОВ. Мы хотим убедиться, что распределения этих прогнозируемых оценок для каждого значения защищенного атрибута практически неразличимы на основе определений вышеупомянутого критерия. Чтобы решить, достаточно ли похожи распределения или нет, вы можете выбрать статистический тест на основе свойств, которые вы хотите удовлетворить.

Чтобы эта модель удовлетворяла критериям независимости, мужские и женские распределения прогнозируемых оценок должны быть очень похожими.

Разделение требует, чтобы мы поставили условие для каждой целевой метки, и поскольку в нашем примере их две, мы получаем два разных графика. Распределение мужчин и женщин в пределах каждого условного значения должно быть очень схожим, чтобы обеспечить разделение.

Визуализация достаточности немного сложнее, потому что она зависит от прогнозируемых оценок, которые являются непрерывной случайной величиной. Чтобы создать этот график, я разделил оценки на две категории: 0 и 1, где 0 относится к более низким 50% баллам, а 1 относится к более высоким 50% баллам (квантильное разбиение). Интерпретировать этот график довольно просто: он показывает процент мужчин и женщин, которые имеют истинное значение Ложь и Истина, когда прогнозируемые баллы имеют значение бина 0 (низкое) и 1 (высокое) соответственно.

На каждом из этих графиков довольно легко заметить, что эта модель смещена в сторону мужчин.

Теорема невозможности справедливости

Как мне решить, какой критерий выбрать? Могу ли я удовлетворить более одного? Вот некоторые из вопросов, которые приходят в голову после понимания этих трех критериев. Первое, что нужно понять, это то, что может быть удовлетворен только один из трех критериев, если только это не случай, когда нет никакой корреляции между чувствительным атрибутом и целевой переменной (также известный как вырожденный / избыточный случай). Я не буду включать доказательство этой статьи, потому что я не считаю его важным для понимания того, как измерять смещение в моделях. Однако, учитывая этот результат, становится действительно важным, чтобы специалист по данным выбирал правильные критерии, которым они должны удовлетворять, исходя из проблемы, которую они пытаются решить.

Что дальше?

Большой! Теперь, когда у вас есть базовое представление об измерении систематической ошибки в моделях машинного обучения, вы можете задаться вопросом, как добиться дальнейшего прогресса в этой области? Я составил список ресурсов, пусть и довольно случайный, он должен помочь вам в обеспечении справедливости ваших моделей машинного обучения!

Я чрезвычайно благодарен Джеффри Шнайдеру, моему наставнику в Vanguard, за его ценные отзывы и Белинде Ли, за рисование комикса в начале статьи.