Одной из старейших четырехбуквенных аббревиатур в компьютерном мире является GIGO (Garbage In Garbage Out). Поколения программистов и аналитиков узнали суровую правду; какой бы хорошо продуманной и сложной ни была система, неверная информация может ее сбить с толку. Данные снова становятся проблемой в системах ИИ из-за вливания предвзятых данных. Существует много литературы о концепции предубеждений, их негативном влиянии на организационные результаты, выявлении типов предубеждений, обучении борьбе с предубеждениями и т. д.

В контексте разработки и внедрения систем на основе ИИ я заметил три ключевые проблемы, связанные с предвзятостью.

  • Безоговорочное принятие практики порождает предвзятость
  • Некоторые предубеждения хорошо скрыты
  • Наборы данных часто создают предвзятость

Давайте рассмотрим каждый из них подробно.

Безоговорочное принятие практики приводит к предвзятости

Преподаватели английской грамматики уже давно учат нас, что активный залог предпочтительнее использовать (например, The cat ate the rat), а не пассивный залог (например, The rat был съеден котом). Со временем это стало почти аксиомой. Если вы попытаетесь пропустить текст любой статьи через средство проверки грамматики MS-Word или Grammarly, они выделят пассивные предложения и предложат изменения.

Так ли плох пассивный залог? Бони Вагнер-Стаффорд, соучредитель Ingenium Books, в отличной статье приводит четыре веские причины для использования пассивного залога, в том числе то, что читатели воспринимают его как … более профессиональный и более авторитетный. Тем не менее, предвзятость была установлена ​​сознательно и иным образом в обществе. Вполне возможно, что программа для приемных комиссий, основанная на машинном обучении, проверяет тысячи вступительных эссе на предмет 0 % предложений с пассивным залогом, и одно предложение с пассивным залогом снижает оценку эссе, которое в остальном было выдающимся!

Внимание! Эта статья изобилует пассивными предложениями и очень пассивными предложениями!

Некоторые предубеждения хорошо скрыты

Недавнее исследование Канзасского университета показывает, что на управляющих взаимными фондами могут влиять политические пристрастия руководителей компаний, входящих в их портфель. Исследователи говорят, что …управляющие фондами, придерживающиеся партийных взглядов, выделяют около 43 процентов своих активов фирмам, руководители которых имеют схожие политические взгляды, и выделяют только 33 процента своих активов фирмам с противоположными политическими взглядами.

Роботы-консультанты очень популярны в финансовом мире, и они предлагают советы миллионам клиентов на основе алгоритмов и правил, возможно, предоставленных некоторыми из управляющих взаимными фондами, указанными в приведенном выше исследовании. Онлайн-пользователю будет предложен специально подобранный выбор из тысяч вариантов. Пользователь мало что знает о скрытых предубеждениях, но наверняка знает реальные результаты своих инвестиционных решений в ближайшие годы. Предвзятость хорошо спрятана!

Наборы данных создают систематическую ошибку

Джой Буоламвини в своей Магистерской диссертации Массачусетского технологического института показала, что система распознавания лиц имеет высокие показатели точности для определения пола светлокожих мужчин и значительные ошибки в определении темнокожих женщин. Тезис определил основную причину, оцененные наборы данных подавляюще светлокожи: 79,6% — 86,2% и только 24,6% женщин и 4,4% более темных женщин, а также 59,4% светлокожих мужчин. Предлагаемое решение для повышения точности систем заключалось в разработке более разнообразных наборов данных. Отчеты предполагают, что компании впоследствии обновили технологию.

Я советую клиентам тщательно проверять разнообразие данных; также обеспечьте разнообразие лиц, управляющих данными!

Сводка

ИТ-системы разрабатывались с определением процесса, а затем данные перемещались по этапам. В системах на основе ИИ данные часто определяют процесс и результаты. Здесь GIGO хуже; более вонючий, а иногда и просто опасный. Лица, принимающие решения, должны сознательно поднимать проблему предвзятости и решать ее в своих бизнес-процессах.