В то время как системы на основе ИИ в основном использовались для повышения операционной эффективности финансовых преступлений, справедливость модели и предвзятость данных возникают, когда система склоняется в пользу или против определенных групп или категорий в данных. Как правило, это происходит из-за того, что в модель машинного обучения загружаются ошибочные или нерепрезентативные данные. Предвзятые системы искусственного интеллекта представляют серьезную угрозу, особенно когда на карту поставлена ​​репутация. При обнаружении мошенничества предвзятые данные и прогностические модели могут связывать фамилии из других культур с мошенническими учетными записями или ложно снижать риск в сегментах населения для определенных видов финансовой деятельности.

Предвзятость данных возникает, когда имеющиеся данные не являются репрезентативными для населения или явления разведки. Данные не включают переменные, которые должным образом отражают явление, которое мы хотим предсказать. Данные включают контент, созданный людьми, который может содержать предвзятое отношение к группам людей. Систематические недостатки мышления и рассуждений, обычно унаследованные культурным и личным опытом, приводят к искажениям восприятия при принятии решений. И хотя данные могут показаться объективными, данные собираются и анализируются людьми и поэтому могут быть предвзятыми.

Предвзятый набор данных может быть нерепрезентативным для общества из-за чрезмерного или недостаточного представления определенных идентичностей в определенном контексте. Предвзятые наборы данных также могут быть точными, но отражать несправедливое общество. В этом случае они отражают предубеждения против определенных групп, которые дискриминируют это конкретное лицо группы.

Смещение данных в машинном обучении (неотъемлемая часть систем на основе ИИ) — это тип ошибки, при котором определенные элементы набора данных имеют больший вес и представлены, чем другие. Предвзятый набор данных не точно представляет вариант использования модели, что приводит к искаженным результатам, низким уровням точности и аналитическим ошибкам. Предвзятость машинного обучения иногда называют предвзятостью алгоритма или предвзятостью ИИ.

Прогностические модели могут обучаться на данных, содержащих решения человека, или на данных, отражающих второстепенные эффекты социального или исторического неравенства, и в результате могут генерировать несправедливость в своих решениях или выводах.

Когда речь идет об устранении опасностей дискриминации и несправедливости в системах ИИ, универсального решения не существует. Проблема справедливости и устранения предвзятости при разработке и использовании моделей машинного обучения не имеет простого или строго технического решения.

Влияние на бизнес

Борьба с предвзятостью в системах на основе ИИ — это не только правильно, но и разумно для бизнеса, и ставки для бизнес-лидеров высоки. Предвзятые системы ИИ могут несправедливо распределять

  • возможности
  • ресурсы или информация
  • нарушать гражданские свободы
  • наносить ущерб безопасности людей
  • не могут обеспечить такое же качество обслуживания для одних людей, что и для других, и
  • негативно влияют на благополучие человека, если воспринимаются как пренебрежительные или оскорбительные

На самом деле существует бесчисленное множество способов обучения моделей машинного обучения на необъективных данных.

Предвзятая система, основанная на искусственном интеллекте, может привести к тому, что компании будут давать искаженные, предвзятые и даже расистские прогнозы. Для предприятий важно понимать силу и риски предвзятости ИИ. Финансовые учреждения, использующие пагубные модели, предвзятые к расе или полу, могут даже не осознавать тот факт, что они принимают решение о кредитовании, которое является дискриминационным. Некоторая информация, такая как имена и пол, может использоваться для категоризации и идентификации заявителей незаконными способами. Даже если предвзятость является непреднамеренной, она все равно подвергает организацию риску, поскольку не соблюдает нормативные требования, и может привести к тому, что определенным группам людей будет несправедливо отказано в ссудах или кредитных линиях.

Системы на основе ИИ часто используются, чтобы помочь предприятиям прогнозировать потребительский спрос, чтобы они могли предлагать соответствующие услуги для целевой аудитории. Но предубеждения могут искажать такие уравнения, оставляя финансовые учреждения с неточнымипрогнозами спроса на финансовые услуги и продукты.

Самым большим препятствием на пути к успеху систем на основе ИИ является внедрение ИИ. Самым большим препятствием для внедрения ИИ является отсутствие доверия. Одной из наиболее частых причин плохих результатов ИИ является предвзятость. Время, необходимое для внедрения объективных и беспристрастных данных модели машинного обучения в системы принятия решений, прямо пропорционально получению прибыли от инвестиций, связанных с ИИ.

В настоящее время у организаций нет средств для успешного устранения предвзятости в системах ИИ. Но в связи с тем, что ИИ все чаще используется внутри и между предприятиями для информирования о решениях, влияющих на жизнь людей, крайне важно, чтобы организации стремились уменьшить предвзятость не только по моральным причинам, но и для соблюдения нормативных требований и увеличения доходов.

NICE Активировать

Передовой опыт NICE Actimize по проектированию и внедрению с учетом справедливости (как на уровне нетехнической самооценки, так и на уровне технических средств контроля и средств оценки) имеет большие перспективы с точки зрения обеспечения справедливых, морально приемлемых и полезных результатов, которые относятся к пострадавшие стороны справедливо и беспристрастно. Аналитическая культура NICE Actimize рассматривает сбор, обработку и управление данными как необходимые компоненты алгоритмической справедливости. Если результаты проекта ИИ генерируются предвзятыми, скомпрометированными или искаженными наборами данных, затронутые стороны не будут должным образом защищены от дискриминационного вреда. Команды Actimize по обработке и анализу данных должны помнить о следующих ключевых элементах достоверности данных:

  • Репрезентативность. В зависимости от контекста недопредставленность или чрезмерная представленность обездоленных или защищенных законом групп в выборке данных может привести к систематическому ущемлению уязвимых сторон в результатах обученной модели. Чтобы избежать такого рода систематической ошибки выборки, экспертиза предметной области будет иметь решающее значение для оценки соответствия между собранными или полученными данными и базовой совокупностью, подлежащей моделированию. Члены технической группы должны предложить средства исправления недостатков репрезентативности в выборке.
  • Соответствие назначению и достаточность. Важный вопрос, который следует учитывать в процессе сбора и приобретения данных, заключается в следующем: будет ли количество собранных данных достаточным для намеченной цели проекта? Количество собранных или полученных данных оказывает значительное влияние на точность и обоснованность результатов обученной модели. Выборка данных недостаточно велика, чтобы ее можно было представить с достаточной полнотой, поскольку значимые или квалифицирующие признаки членов совокупности, подлежащих классификации, могут быть настолько малы, что это может привести к несправедливым результатам. Недостаточные наборы данных могут неадекватно отражать качества, которые следует взвешивать для получения обоснованного результата, соответствующего желаемой цели системы ИИ. Соответственно, члены проектной группы, обладающие техническими и политическими компетенциями, должны сотрудничать, чтобы определить, достаточно ли количество данных и соответствуют ли они цели.
  • Целостность источника и точность измерения. Эффективное устранение погрешностей начинается в самом начале процессов извлечения и сбора данных. Как источники, так и инструменты измерения могут вносить в набор данных дискриминационные факторы. При включении в качестве входных данных в обучающие данные предвзятые предыдущие решения и суждения человека, такие как предвзятое подсчет очков, ранжирование, данные интервью или оценка, станут «основной истиной» модели и воспроизведут предвзятость в выходных данных системы. Чтобы обеспечить дискриминационное непричинение вреда, выборка данных должна иметь оптимальную целостность источника. Это включает в себя обеспечение или подтверждение того, что в процессах сбора данных использовались подходящие, надежные и беспристрастные источники измерения и надежные методы сбора.
  • Своевременность и новизна. Если наборы данных включают устаревшие данные, то изменения в базовом распределении данных могут негативно повлиять на обобщаемость обученной модели. При условии, что эти дистрибутивные дрейфы отражают изменение социальных отношений или групповую динамику, эта потеря точности в отношении фактических характеристик основной популяции может внести погрешность в систему ИИ. Для предотвращения дискриминационных результатов следует тщательно проверять своевременность и новизну всех элементов набора данных.
  • Релевантность, уместность и знание предметной области. Понимание и использование наиболее подходящих источников и типов данных имеют решающее значение для создания надежной и беспристрастной системы искусственного интеллекта. Твердые знания предметной области о базовом распределении населения и прогнозирующей цели проекта играют важную роль для выбора оптимально релевантных входных данных измерений, которые способствуют разумному разрешению определенного решения. Эксперты в предметной области должны тесно сотрудничать с группами по науке о данных, чтобы помочь в определении оптимально подходящих категорий и источников измерения.

В то время как системы на основе ИИ помогают в процессах автоматизации принятия решений, которые обеспечивают экономию средств, финансовые учреждения, рассматривающие ИИ в качестве решения, должны проявлять бдительность, чтобы не допустить предвзятых решений. Наша нынешняя финансовая система страдает от многовековой предвзятости, но также и от систем, которые далеко не так предсказуемы, как часто утверждают. Руководители банков должны идти в ногу со своей командой по анализу данных, чтобы подтвердить, что возможности ИИ ответственны, эффективны и свободны от предвзятости. Стратегия, поддерживающая ответственный ИИ, — это правильно, но она также может помочь соответствовать будущим правилам ИИ.