Введение

Модели на основе ИИ более подвержены определенным рискам, чем их обычные аналоги, если только они не проходят через надлежащие механизмы управления и контроля. Мы рассмотрим некоторые модельные риски, которым могут быть подвержены модели ИИ (по сравнению с их обычными аналогами).

Модельный риск в моделях ИИ

Риск смещения. Это происходит, когда результаты модели машинного обучения искажаются в пользу или против определенного сегмента населения. Это могло произойти по разным причинам:

  1. Выбранные обучающие данные могли быть недостаточно репрезентативными намеренно или непреднамеренно.
  2. Фундаментальные характеристики вселенной изменились с момента последнего обучения модели (например, распределение доходов, используемое в обучающих данных, претерпело значительные изменения).
  3. В некоторых случаях взаимодействие между переменными может привести к смещению, которое трудно заметить.

Классический пример предвзятости модели, который стал достоянием общественности в последнее время, хотя и для рекрутинга на основе модели ИИ, это: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight / Amazon-Scraps-Secret-AI-Рекрутинг-инструмент-который-продемонстрировал-предвзятость-против-женщин-idUSKCN1MK08G

Риск «черного ящика».Это может произойти, когда используются очень сложные модели, а связь между выходными данными и причинными факторами не поддается объяснению обычным бизнес-пользователям, в результате чего модели машинного обучения превращаются в « черный ящик'. Это особенно распространено в областях, где используются модели поставщиков. Везде, где модели превращаются в черные ящики, пользователи от них отстраняются. Затем все следует подходу «так говорит модель», а не позволяя владельцам/пользователям применять экспертные оценки или дискриминацию для дополнения результатов. В таких случаях трудно оценить пригодность и уместность используемой модели из-за ее непрозрачности. Кроме того, при таком подходе не может быть эффективной обратной связи от владельцев/пользователей модели к группе разработчиков модели.

Это также создает проблемы для регулирующих органов при проверке моделей. Подробнее: (https://www.centralbanking.com/central-banks/financial-stability/micro-prudential/3504951/black-box-models-present-challenges-us-regulators)

Регуляторный/правовой риск.Использование моделей ОД, если только они не подлежат жесткому управлению и надзору, может привести к юридическим рискам. Обычно это результат других рисков, таких как риск предвзятости или риск черного ящика. Классический пример — когда Министерство жилищного строительства и городского развития США подало в суд на Facebook за использование инструментов, дискриминирующих определенные слои общества в рекламе, связанной с жильем. (https://www.theverge.com/2019/3/28/18285178/facebook-hud-lawsuit-fair-housing-distribution)

Подробную статью на эту тему можно найти здесь: https://www.americanbar.org/groups/business_law/publications/committee_newsletters/banking/2019/201904/fa_4/

Технологические риски.Некоторые регулирующие органы забили тревогу в связи с угрозой захвата алгоритмов ИИ или данных преступниками. Страх проистекает из того факта, что некоторые аспекты алгоритма не могут быть объяснены интуицией или экспертом, предоставляя киберпреступникам брешь в броне, чтобы манипулировать данными или алгоритмом, чтобы искажать результаты в свою пользу. Член исполнительного совета Австралийского управления пруденциального надзора Джефф Саммерхейс (Geoff Summerhayes) предупредил об этом некоторое время назад: -96353.aspx")

В заключение следует сказать, что алгоритмы на основе ИИ должны подвергаться человеческому контролю и усмотрению, чтобы они не имели непредвиденных последствий. Они должны быть приведены в соответствие с моделью управления рисками учреждения, о которой мы поговорим в следующей части.