Это вторая часть из трех статей о предвзятости в ИИ.

В Части 1. Ваш страх перед ИИ оправдан, но причины — нет. Мы объяснили, что предубеждения в отношении ИИ — это то, чего вам следует опасаться.

Теперь мы исследуем, как предвзятость может проявляться в ИИ. Если вы не знакомы с искусственным интеллектом и машинным обучением, я бы порекомендовал вам сначала прочитать это введение.

Bias в AI: все о входных данных

Предвзятость в машинном обучении легко понять по тому факту, что любая модель машинного обучения абсолютно зависит от данных, используемых для ее обучения. Поэтому, несмотря на то, что подходы ML могут быть очень хороши для достижения желаемого результата, может быть (и часто бывает) очень трудно понять, как они добились этого. .

Практический пример: утверждающий ссуду на основе ИИ

Например, давайте рассмотрим финансовое учреждение IntelliBank, которое решает автоматизировать процесс одобрения автокредита с помощью алгоритма машинного обучения. Intellibank располагает данными о автокредитах, выданных за последние 10 лет – подробную информацию об автомобиле (например, марку и модель автомобиля, сумму кредита) и сведения о заемщике (например, история вождения, возраст, пол, годовой доход, кредитная история, почтовый индекс) по каждому из кредитов, выданных ранее, и были ли они были погашены или были дефолты.

Intellibank поручает алгоритму машинного обучения использовать все эти данные для изучения и вынесения рекомендаций по одобрению или отклонению новых кредитных заявок.

После некоторого времени обработки данных модель машинного обучения заявляет почти 100% точность — это означает, что она нашла способ утвердить каждого плательщика. и отклонить всех неплательщиков (пуристы: давайте оставим точность и отзовем на другой день).

Генеральный директор IntelliBank в восторге от этого результата, заявляет об успехе и рекомендует немедленно применить алгоритм. Выпьем шампанского...

Но подождите, мы можем объявить об успехе?

Как бы заманчиво это ни звучало, мы не можем сделать ничего подобного. Вполне возможно, что модель, хотя и успешная, может делать что-то незаконное.

Как это может быть? Так уж получилось, что 90% заемщиков с почтовым индексом А стремятся погасить свои кредиты, а 90% заемщиков с почтовым индексом Б, как правило, этого не делают. Таким образом, модель машинного обучения могла узнать из данных, что почтовый индекс заемщика является наиболее предиктивной переменной при определении дефолта или погашения, а все остальные переменные не имеют значения.

Таким образом, алгоритм машинного обучения просто работает следующим образом: одобряет заявки на получение кредита с почтовым индексом A и отклоняет заявки на получение ссуды с почтовым индексом B.

Помните, что модель просто делает то, что ей было сказано делать, а именно определяет критерии, которые могут отделить неплательщиков от кредиторов.

Хорошо, а что в этом опасного?

Хотя этот критерий может быть эффективным при различении хороших заемщиков и неплательщиков, он может делать что-то неприятное.

Так уж получилось, что почтовый индекс A преимущественно населен людьми одной расы, а почтовый индекс B преимущественно населен людьми другой расы. Модель эффективно использует непреднамеренную дискриминацию заявителей по признаку расы.

Генеральный директор IntelliBank может попасть в тюрьму, если этот алгоритм будет реализован для одобрения/отказа кредитов.

Почему это случилось?

Причина в том, что наличие эффективного алгоритма и хорошее понимание того, как он работает (он же объяснимость), , это две очень разные вещи.

Таким образом, недостаточно, чтобы алгоритм машинного обучения достиг своей цели; (иногда даже более) важно, чтобы мы понимали, как это работает внутри.

Проблема в том, что часто очень сложно заглянуть под капот и определить, как используется каждая из входных переменных.

Например, предположим, что наша модель машинного обучения представляет собой нейронную сеть (например, показанную ниже) с двумя слоями посередине, существует так много связей и комбинаций входных данных, что объединение того, как каждый вход преобразуется, чтобы получить результат очень трудно.

Так что мы сейчас в затруднительном положении. Как мы определяем, является ли алгоритм предвзятым, если мы не можем заглянуть под капот и понять его смысл?

Теперь, когда мы поняли, что такое предвзятость, мы закончим в части 3 тем, как мы можем найти и устранить предвзятость в машинном обучении.

Сид Шанкар — бывший сотрудник McKinsey, бывший сотрудник Google, бывший сотрудник EA, увлекающийся играми, в настоящее время работает менеджером по продуктам и специалистом по защите данных в Силиконовой долине. Он получил степень MBA в Wharton School и степень бакалавра технических наук в области компьютерных наук в IIT Madras. Он давний игрок и любит слушать и рассказывать истории, особенно если они связаны с технологиями, лидерством, бизнесом, поп-культурой или философией.