Этический ИИ II: как ИИ скрывает предвзятость

Попытка исправить предвзятость ИИ имеет решающее значение для ответственного использования ИИ. Но эта коррекция иногда может просто скрыть, а не устранить предвзятость. Вот как.

Введение

Это вторая статья из серии блогов, посвященных предвзятости ИИ. Если вы не читали первую часть, я бы посоветовал вам просмотреть введение здесь, чтобы понять основные моменты.

В этой статье будет рассмотрена другая сторона предвзятости ИИ: «скрытая предвзятость» ИИ, которая может обойти некоторые из наиболее очевидных попыток устранить предвзятость из ИИ. В отличие от моих предыдущих постов, я планирую провести вас через общий уровень проектирования ИИ, чтобы показать вам наиболее важные области, в которых может закрасться предвзятость.

Основные выводы этой статьи:

Каждый шаг создания ИИ — от выбора работы, которую он будет выполнять, до предоставления ему данных — может привести к предвзятости. Многие из них трудно предвидеть.
Действие по смягчению предвзятости ИИ также скрывает оставшуюся предвзятость, что затрудняет ее устранение.
AI Bias нельзя полностью устранить, но его можно смягчить при надлежащем уходе.

Знание правильного вопроса

Предположим, что Example College хочет использовать ИИ для проверки абитуриентов в процессе приема*. Колледж решает, что хочет отобрать студентов, которые имеют самые высокие шансы на успех в колледже — разумная цель. Они говорят своим специалистам по данным делать именно это.

Первый вопрос, на который придется ответить специалистам по данным, — «что значит добиться успеха в колледже?» Это самые высокие оценки? Устроиться на самую высокооплачиваемую работу после выпуска? Иметь самый высокий доход через 5 лет после выпуска?

Вот важная часть: люди, которые «добились» наибольшего успеха по одному из этих показателей, могут не быть теми, кто преуспел по другим. Таким образом, это первое место, где может закрасться предвзятость.

Простой выбор показателя успеха сместит ИИ в сторону людей, которые лучше всего соответствуют этому показателю. Предположим, что они должны были использовать показатель самого высокого дохода через 5 лет, исходя из предположения, что это отражает, насколько хорошо продвигается карьера студента после выпуска.

Вот в чем вопрос: по данным Indeed, средняя зарплата учителя в Ирландии составляет 16,65 евро в час [1]. Для компьютерного инженера это 39,48 евро [2]. Через 5 лет эта разница обязательно будет видна. Таким образом, если использовать этот показатель успеха, ИИ будет склонен отдавать предпочтение студентам, изучающим компьютерную инженерию, а не студентам образования.

Измерение по наивысшим оценкам также может быть предвзятым: студент, который много часов работает на работе в колледже, может иметь более низкие оценки, потому что у него меньше времени на учебу. Но если они могут использовать свои связи в колледже, чтобы получить прекрасную работу после выпуска, разве они не преуспели?

Это, по терминологии Роселли и др., проблема «суррогатных данных» [3]. Когда что-то трудно измерить (например, успех в колледже), для его представления часто используются суррогаты. Но сам выбор суррогата часто может с самого начала повлиять на ИИ.

Знание правильных данных

Продолжим пример с поступлением в колледж. Как только метрика успеха выбрана (нам не нужно беспокоиться о том, какая для этого обсуждения), пришло время начать сбор данных!

К счастью, в Example College есть данные обо всех бывших студентах. Дизайнеры понимают, что включение расы и пола в ИИ — это очевидное «нет-нет» — предоставление ИИ доступа к этим характеристикам в буквальном смысле требует, чтобы он различал их. В конце концов, ИИ не понимает идею расы или пола — для него это просто разные категории. Если кто-то хорошо коррелирует с успехом, он будет использовать это.

Поэтому дизайнеры ИИ просто удаляют эти характеристики. ИИ теперь не может различать по признаку расы или пола, верно?

Неправильный. Точно так же, как суррогатные данные могут использоваться в качестве замены целевой метрики ИИ (успех в колледже), они также могут использоваться для любой другой характеристики, включая расу или пол. И когда он это делает, он эффективно скрывает наличие этой предвзятости.

Но как? Роселли и др. указать на некоторые очевидные: почтовые индексы (в контексте США) часто могут заменять расу из-за того, что многие сообщества состоят, в основном, из людей одной расы [3]. История покупок может стать индикатором состояния здоровья [3]. И так далее.

Например, колледж, возможно, суррогатами могут быть внеклассные занятия — возможно, мужчины и женщины предпочитают определенные виды спорта. Это дает ИИ возможность неявно использовать пол в своих решениях — все это скрыто от дизайнеров.

Но зачем это делать? Предположим, например, что доход через 5 лет используется в качестве показателя успеха в колледже (как указано выше). Это мгновенно приводит к еще одному источнику предвзятости: в Ирландии средний доход женщин примерно на 8% ниже, чем у мужчин.

Если доход используется в качестве показателя, то ИИ будет иметь веские основания для использования прокси для определения пола: это дает ему возможность прогнозировать доход студента после окончания учебы; то есть «успех». И все это он может делать без указания пола (или любой другой подобной информации) в модели.

Итак, что это означает?

Создать ИИ действительно легко, но очень сложно сделать правильно. На дизайнеров ложится ответственность заранее выявлять источники предвзятости и устранять их. После того, как ИИ создан, он должен быть проверен на непреднамеренную предвзятость и итеративно воссоздан до тех пор, пока предвзятость не будет максимально уменьшена.

Но предвзятость можно только смягчить. Никогда нельзя быть уверенным, что его нет.

Почему? Потому что склонность ИИ использовать суррогатные данные и находить тенденции, на которые разработчики не рассчитывали, означает, что он всегда сможет найти предвзятость. И почти во всех случаях эта предвзятость будет скрыта за суррогатными целями и суррогатными данными.

Предвзятость — это просто часть интеллекта; люди тоже не свободны от этого. Но его можно понять, измерить и смягчить. Пожалуй, самое главное, его можно (и нужно) публиковать. Любая предвзятость, обнаруженная в ИИ — во время создания или после — должна быть опубликована вместе с ИИ. Точно так же, как публикация о влиянии ИИ на окружающую среду, предвзятость публикации — это первый шаг к тому, чтобы уделить ему должное внимание и стимулировать дополнительные исследования, чтобы свести его к минимуму.

Последнее примечание

На ум приходит определенная аналогия с Автостопом по Галактике Дугласа Адамса. ИИ «Глубокомыслящий» спросили, что означает «жизнь, вселенная и все остальное». На это он дал ответ 42.

Его создатели, конечно, задаются вопросом, что это должно было означать — как смысл жизни может быть числом? Компьютер вполне резонно ответил: вы не понимаете вопроса.

Таков ИИ. Ошибки ИИ и предвзятость ИИ всегда будут присутствовать. Но они будут намного хуже, когда люди, которые создают ИИ, не будут думать о них и учитывать их. В конце концов, лучше дьявол, которого ты знаешь, чем дьявол, которого ты не знаешь.

В любом случае, ключевые выводы этой статьи таковы:

Каждый шаг создания ИИ — от выбора работы, которую он будет выполнять, до предоставления ему данных — может привести к предвзятости. Многие из них трудно предвидеть.
Действие по смягчению предвзятости ИИ также скрывает оставшуюся предвзятость, что затрудняет ее устранение.
AI Bias нельзя полностью устранить, но его можно смягчить при надлежащем уходе.

Примечания

* Принятие подобных решений только на основе ИИ/автоматизированных систем запрещено в соответствии с положениями ЕС. закон.