Итак, насколько справедлив ваш ИИ?

О проблеме правильного достижения цели справедливости

Использование искусственного интеллекта (ИИ) породило новые этические и юридические проблемы. В моей предыдущей статье я показал, почему удаление конфиденциальной информации из обучающих данных не способствует справедливости, а скорее наоборот. Эта статья посвящена определению наиболее подходящего определения честности для приложения ИИ. Индивидуальный инструмент был первоначально представлен в исследовательской статье, опубликованной мной по этой теме.

Сбор и анализ данных с помощью ИИ стал стандартом, а машинное обучение сегодня повышает эффективность бизнеса во многих областях. Однако в последние годы были выявлены многочисленные случаи предвзятости машин ИИ, и новые примеры появляются регулярно. Это одна из главных ловушек ИИ: если обучающие данные содержат какую-либо предвзятость, алгоритм включит и применит ее, что может нанести вред чувствительным подгруппам, определенным по полу, религии, этнической принадлежности или возрасту.

Проблема определения «справедливости»

Нынешние подходы к уменьшению предвзятости в основном технические и сосредоточены на настройке алгоритмов или данных для обеспечения некоторой справедливости. Однако существует множество противоречивых представлений о справедливости, и, к сожалению, общепринятого определения не существует. Наиболее подходящая метрика справедливости всегда зависит от контекста приложения. На практике определить цель справедливости сложно, потому что сопоставление этических принципов с показателями не является простым процессом. Тем не менее, чтобы получить устойчивые решения для более справедливого ИИ, необходимо сосредоточить внимание на этой проблеме, поскольку лучший технический метод смягчения последствий не сработает, если реализованная цель справедливости не соответствует ожиданиям заинтересованных сторон.

Не на той же странице

Во многих сценариях это решение не является тривиальным, что стало очевидным в жарких дебатах вокруг алгоритма COMPAS. Он был разработан компанией Northpointe для создания независимой «оценки риска» на основе данных для нескольких форм рецидивизма. Такой алгоритм используется в секторе уголовного правосудия в США для поддержки судей при принятии конкретных решений, таких как освобождение под залог или условно-досрочное освобождение. Оценка носит информативный характер, и окончательное решение остается за судьей.

В мае 2016 года сайт журналистских расследований ProPublica обратил внимание на возможные расовые предубеждения в алгоритме COMPAS. Его главный аргумент был основан на анализе данных, который показал, что результаты были предвзятыми. В частности, ложноположительный результат у чернокожих был значительно выше, чем у белых. В результате чернокожим людям непропорционально часто ошибочно приписывали высокий риск рецидивизма. Нортпойнт, с другой стороны, ответил на обвинения, заявив, что алгоритм эффективно достиг прогнозируемого паритета значений для обеих групп. Короче говоря, это гарантировало, что оценки риска соответствовали вероятности повторного совершения преступления, независимо от цвета кожи.

С объективной точки зрения можно констатировать, что обе стороны делают обоснованные и обоснованные наблюдения за данными. Тем не менее, огромные разногласия показали, что абсолютно необходимо точно определить и раскрыть выбранную цель справедливости для приложения. И это решение обычно предполагает арбитраж и компромисс. В данном сценарии, например, две цели справедливости могут быть взаимно удовлетворены только в том случае, если выполняется одно из следующих условий: либо базовые ставки чувствительных подгрупп в точности идентичны, либо классы результатов полностью различимы, что позволяет для создания идеального классификатора, который достигает идеальной точности. К сожалению, оба требования очень маловероятны в реальных сценариях.

Навигация по метрикам

Удивительно, но было проведено относительно мало исследований о том, как упростить процесс выбора справедливости для приложений ИИ на практике. Чтобы преодолеть эту проблему, мы разработали Компас справедливости, экспериментальный инструмент, который стремится структурировать сложную картину показателей справедливости. Основываясь на наборе конкретных вопросов, касающихся характера их данных, убеждений в их правильности, политики справедливости и того, следует ли уделять больше внимания специфичности или чувствительности модели, Компас справедливости направляет практиков ИИ к наиболее подходящему варианту для заданный сценарий. Формализация этого процесса отбора и превращение его в простую процедуру помогает устранить препятствие для внедрения ответственного ИИ в реальном мире. Кроме того, запись обоснования решений может служить документацией для внутренних целей и средством коммуникации для повышения прозрачности и укрепления доверия к технологии.

Компас справедливости был опубликован как проект с открытым исходным кодом на GitHub. Он был номинирован на премию Gartner Eye on Innovation и включен в Глобальную библиотеку AI Fairness Global Library Всемирного экономического форума.

Образец заявления

Чтобы проиллюстрировать концепцию, давайте возьмем пример сценария в контексте человеческих ресурсов. В качестве чувствительных подгрупп мы рассматриваем мужчин и женщин. Вопрос, на который необходимо ответить, заключается в том, какое определение справедливости было бы наиболее подходящим, когда речь идет об оценке справедливости в решениях о продвижении по службе. Обратите внимание, что это всего лишь вымышленный мысленный эксперимент, и в зависимости от контекста могут применяться другие ответы с другими результатами. Компас справедливости предназначен для поддержки принятия обоснованных решений на основе определенных требований для данного сценария.

На анимации выше компас справедливости представлен в виде дерева решений с тремя различными типами узлов: ромбы символизируют точки принятия решений; белые прямоугольники обозначают действия, а серые прямоугольники с закругленными углами — определения справедливости. Стрелки, соединяющие узлы, представляют возможные варианты.

Запустим процесс. Первый вопрос касается существующей политики, которая может повлиять на решение. Цели справедливости могут выходить за рамки равного отношения к различным группам или схожим лицам. Если цель состоит в том, чтобы преодолеть преобладающее неравенство путем поддержки малообеспеченных групп, действенными мерами могут быть позитивные действия или квоты. Такая цель может проистекать из закона, постановления или внутренних организационных правил. Такой подход исключает любую возможную причинно-следственную связь между чувствительным атрибутом и результатом. Если данные рассказывают другую историю с точки зрения различных базовых ставок в подгруппах, это сильное обязательство, которое приводит к подчинению точности алгоритма всеобъемлющей цели политики. Например, многие университеты стремятся повысить разнообразие, принимая больше студентов из неблагополучных семей. Такая политика приема признает столь же высокий академический потенциал студентов из чувствительных подгрупп и считает их возможно более низкий уровень образования скорее несправедливостью в обществе, чем личным недостатком.

Для нашего примерного сценария мы пришли к выводу, что такой политики позитивных действий не существует для решений о продвижении по службе. Поэтому мы выбираем «Нет» и документируем причины нашего выбора. Теперь мы переходим к следующему вопросу и повторяем процедуру, пока не достигнем конечного узла, который содержит рекомендуемое определение справедливости для определенного варианта использования.

Следовательно, следование такому формализованному процессу может значительно помочь в определении и объяснении оптимальной метрики справедливости для конкретного приложения ИИ.

Ну и что

На практике существует множество различных определений справедливости. Поскольку некоторые из них взаимоисключающие, необходимо остановиться на одном из них. Сделать выбор непросто, так как лучшее решение всегда зависит от контекста приложения, а компромиссы часто неизбежны. Поэтому крайне важно с большой осторожностью выбирать цель обеспечения справедливости приложения ИИ, а также сообщать о ней внутренним и внешним заинтересованным сторонам. Прозрачность причин, лежащих в основе этого решения, является ключевым фактором устойчивого внедрения более справедливого ИИ.

Большое спасибо Антуану Пьетри за ценную поддержку при написании этого поста. В следующей статье я расскажу, как активно устранять предубеждения в приложениях ИИ.