В 1930-х годах широко распространенная практика, известная как красная черта, значительно повлияла на города в США и Канаде. Красная черта включала в себя нанесение линий на карты для классификации областей как желательных или нежелательных. К сожалению, эти карты затем использовались в качестве основы для отказа жителям этих отмеченных областей в важнейших ресурсах, таких как кредиты, страховка и общественные услуги.

Предвзятость часто связана с предубеждением, когда суждения формируются без понимания всех фактов. Хотя предвзятость далека от идеала, очень важно признать ее существование. Некоторые психологи утверждают, что предвзятость — это когнитивный ярлык, который наш мозг использует для принятия быстрых решений. Например, если мы столкнемся с рычащим тигром, мы инстинктивно убежим, чтобы обеспечить свою безопасность.

В ИИ предвзятость можно обнаружить в нейронных сетях через компонент, называемый «предвзятость». Этот элемент играет роль в направлении модели к более точным результатам. Однако крайне важно признать, что «красная черта» была формой предвзятости. Хотя он был предназначен для облегчения оценки рисков для политиков и владельцев бизнеса в 1930-х годах, его последствия были, несомненно, пагубными.

Недавно такие компании, как Amazon, использовали модели искусственного интеллекта для автоматической проверки резюме. Однако во время одного конкретного эксперимента было обнаружено, что модель постоянно присваивала более низкие баллы кандидатам-женщинам, которые были одинаково квалифицированы по сравнению с их коллегами-мужчинами. Первопричину этой предвзятости можно проследить до обучающих данных, которые в основном состояли из мужских резюме. Термины, связанные с женщинами или колледжами, получили меньший вес в оценке модели. Напротив, специфическим терминам, встречающимся в мужских резюме, придавалось большее значение.

Эксперимент Amazon AI, выявивший предвзятое отношение к женщинам, является ярким примером того, как предубеждения могут проявляться в системах искусственного интеллекта. В этом эксперименте Amazon внедрила автоматизированную систему проверки резюме с использованием обученной модели искусственного интеллекта. Намерение состояло в том, чтобы упорядочить процесс найма и объективно определить квалифицированных кандидатов. Однако система продемонстрировала постоянное предвзятое отношение к кандидатам-женщинам.

На этапе обучения модели был предоставлен набор данных резюме за предыдущие десять лет. К сожалению, набор данных в основном состоял из резюме соискателей-мужчин. В результате модель научилась связывать определенные термины, которые чаще встречаются в мужских резюме, с положительными качествами, в то же время обесценивая слова, более распространенные в резюме женщин или женских колледжей.

Следовательно, когда новые резюме загружались в систему, соискатели-женщины получали более низкие баллы, чем соискатели-мужчины с такой же квалификацией. Предвзятость возникла из-за искаженных данных об обучении, которые не смогли в достаточной мере представить разнообразие и квалификацию женщин-кандидатов.

Это открытие побудило Amazon прекратить эксперимент в 2017 году. Они признали, что рекомендации модели ИИ не должны быть единственным определяющим фактором в процессе найма. Инцидент подчеркнул важность устранения предвзятости в обучающих данных и обеспечения того, чтобы модели ИИ не увековечивали дискриминационные практики и не усиливали существующие гендерные различия.

Случай с Amazon — поучительная история, иллюстрирующая важность учета предубеждений на протяжении всего конвейера разработки ИИ. В нем подчеркивается необходимость в разнообразных и сбалансированных обучающих данных, тщательной оценке результатов моделирования и постоянном мониторинге для обнаружения и исправления ошибок в системах ИИ. Мы можем стремиться создавать более справедливые и равноправные технологии искусственного интеллекта, извлекая уроки из таких инцидентов.

Предвзятость в моделях ИИ часто возникает непреднамеренно из-за невинных ошибок или отсутствия осведомленности. Эти предубеждения могут привести к неверным суждениям или предположениям, основанным на неполных или искаженных данных. Важно знать о распространенных типах дискриминации, таких как ошибочные предположения, предвзятость автоматизации, предвзятость экспериментатора и предвзятость групповой атрибуции.

Кроме того, методы выборки и отчетности могут привести к систематической ошибке. Смещение охвата возникает, когда обучающие данные не могут точно представить предполагаемую совокупность. Систематическая ошибка выборки возникает, когда выборка, собранная для исследования, не дает репрезентативного поперечного сечения целевой группы. Систематическая ошибка участия возникает, когда респонденты неадекватно представляют все население, что может привести к искажению результатов. С другой стороны, систематическая ошибка удобства возникает, когда вместо более актуальной или свежей информации используются легкодоступные данные.

Несмотря на то, что существует множество типов предубеждений, очень важно выявлять и смягчать их, имеющие отношение к конкретной проблеме. Хотя устранить все предубеждения может быть невозможно, наша обязанность в проектах машинного обучения — тщательно учитывать и минимизировать любые предпочтения, которые могут повлиять на результаты. Пожалуйста, сделайте это, чтобы избежать несправедливых и вредных последствий.

Предвзятость в ИИ может проявляться по-разному. Вот ключевые типы дискриминации, о которых следует знать в ИИ:

  1. Смещение обучающих данных. Смещение может возникать из-за обучающих данных, используемых для обучения моделей ИИ. Если данные полные, репрезентативные и сбалансированные, это может привести к необъективным результатам. Например, предположим, что набор данных преимущественно включает данные из определенной демографической группы. В этом случае модель может плохо обобщаться на другие группы.
  2. Предвзятость автоматизации: предвзятость автоматизации возникает, когда люди безоговорочно доверяют решениям, принимаемым системами ИИ, или подчиняются им, не оценивая их критически. Это может привести к предвзятым результатам, если сама система ИИ является дискриминационной.
  3. Предвзятость экспериментатора: предвзятость экспериментатора относится к непреднамеренной предвзятости, вносимой исследователями или разработчиками во время проектирования, внедрения или оценки систем ИИ. Их предвзятые представления или предпочтения могут повлиять на результаты и интерпретации экспериментов или исследований.
  4. Предвзятость групповой атрибуции: Предвзятость групповой атрибуции возникает, когда людям приписываются определенные характеристики или поведение исключительно на основании их принадлежности к группе, что приводит к несправедливым обобщениям. Системы ИИ могут непреднамеренно увековечить эти предубеждения, если будут обучены на предвзятых данных или полагаться на ошибочные предположения.
  5. Смещение охвата возникает, когда обучающие данные не могут полностью представить предполагаемую совокупность или включают непропорциональное представление определенных групп. Это может привести к тому, что модели ИИ будут более точными для одних групп, но хуже для других.
  6. Смещение выборки: Смещение выборки возникает, когда образец, собранный для исследования или анализа, не дает репрезентативного поперечного сечения целевой группы или населения. Это может внести искажения и неточности в результаты, полученные от системы ИИ.
  7. Предвзятость участия: Предвзятость участия возникает, когда люди, которые участвуют в опросах или предоставляют данные для систем ИИ, неадекватно представляют все население. Это может привести к искаженным или неполным данным, что приведет к необъективным результатам.
  8. Ошибка удобства. Ошибка удобства возникает, когда вместо более актуальной или свежей информации используются легкодоступные данные. Это смещение может возникнуть, если системы ИИ полагаются на легкодоступные источники данных, которые могут неточно отражать текущую реальность или разнообразие анализируемого субъекта.

Выявление и устранение этих предубеждений в системах ИИ имеет решающее значение для обеспечения справедливых и равноправных результатов. ИИ может лучше обслуживать различные группы населения и избегать увековечивания дискриминационных практик, смягчая предубеждения.