🔍 Откуда берутся предубеждения в ML? (2/Н) ❌ Исключение

В этом втором посте о причинах предубеждений в ML мы сосредоточимся на одном из самых важных предубеждений в ML: предубеждениях исключения. ⚠

⬇ Что говорят нам о них исследования?

Смещения исключения возникают, когда некоторые важные переменные не учитываются в модели. Также называемые смещениями пропущенных переменных, они наиболее распространены на этапе предварительной обработки данных. Как представлено Mehrabi et al. (2019), они представляют собой предубеждения, возникающие из-за процесса между данными и алгоритмом. Пропущенное явление может быть эндогенным или экзогенным по отношению к процессу моделирования:

✅ Эндогенные:

Смещение исключения является эндогенным, когда исключенная переменная имеет причинно-следственную связь с целевой переменной во время построения модели. Чаще всего это происходит, когда специалисты по данным удаляют ценные данные, которые считались неважными.

Например, представьте, что вы прогнозируете ценность клиента, используя набор данных о прошлых продажах клиентов в Америке и Канаде. 98% клиентов из Америки, поэтому вы решили удалить данные о местоположении, думая, что это не имеет значения. В этом случае ваша модель не сможет получить то, что ваши канадские покупатели тратят в два раза больше. Исключение переменной местоположения делает модель необъективной, что приводит к потерям производительности.

https://buff.ly/2Y51aCp

✅ Экзогенные:

Смещение исключения является экзогенным, когда причинно-следственная связь между пропущенной переменной и целевой переменной возникает после процесса моделирования.

Например (Mehrabi et al., 2019), представьте, что вы реализуете модель для прогнозирования скорости оттока и вдруг понимаете, что большинство пользователей уходят, не получая никаких предупреждений от разработанной модели. А теперь представьте, что причиной оттока стало появление на рынке нового сильного конкурента, который предлагает такое же решение, но вдвое дешевле. Этот новый факт имеет причинно-следственную связь с оттоком и упускается из виду в процессе моделирования. Это создает предвзятую модель и снижает производительность модели.

В Giskard AI мы помогаем профессионалам в области искусственного интеллекта выявлять эти предубеждения исключения, обогащая процесс моделирования новой информацией. В следующей серии постов мы подробно рассмотрим другие типы предубеждений и способы их устранения.

Хотите знать больше?

✋ Напишите нам [email protected]

Ваше здоровье,

Жан-Мари Джон-Мэтьюз

Исходный пост опубликован на LinkedIn 2 ноября 2021 г.

Библиография:

• Мехраби, Морстаттер, Саксена, Лерман и Галстян. 2019. Опрос предвзятости и справедливости в машинном обучении. https://buff.ly/38jj7yt