Введение
Модели на основе ИИ более подвержены определенным рискам, чем их обычные аналоги, если только они не проходят через надлежащие механизмы управления и контроля. Мы рассмотрим некоторые модельные риски, которым могут быть подвержены модели ИИ (по сравнению с их обычными аналогами).
Модельный риск в моделях ИИ
Риск смещения. Это происходит, когда результаты модели машинного обучения искажаются в пользу или против определенного сегмента населения. Это могло произойти по разным причинам:
- Выбранные обучающие данные могли быть недостаточно репрезентативными намеренно или непреднамеренно.
- Фундаментальные характеристики вселенной изменились с момента последнего обучения модели (например, распределение доходов, используемое в обучающих данных, претерпело значительные изменения).
- В некоторых случаях взаимодействие между переменными может привести к смещению, которое трудно заметить.
Классический пример предвзятости модели, который стал достоянием общественности в последнее время, хотя и для рекрутинга на основе модели ИИ, это: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight / Amazon-Scraps-Secret-AI-Рекрутинг-инструмент-который-продемонстрировал-предвзятость-против-женщин-idUSKCN1MK08G
Риск «черного ящика».Это может произойти, когда используются очень сложные модели, а связь между выходными данными и причинными факторами не поддается объяснению обычным бизнес-пользователям, в результате чего модели машинного обучения превращаются в « черный ящик'. Это особенно распространено в областях, где используются модели поставщиков. Везде, где модели превращаются в черные ящики, пользователи от них отстраняются. Затем все следует подходу «так говорит модель», а не позволяя владельцам/пользователям применять экспертные оценки или дискриминацию для дополнения результатов. В таких случаях трудно оценить пригодность и уместность используемой модели из-за ее непрозрачности. Кроме того, при таком подходе не может быть эффективной обратной связи от владельцев/пользователей модели к группе разработчиков модели.
Это также создает проблемы для регулирующих органов при проверке моделей. Подробнее: (https://www.centralbanking.com/central-banks/financial-stability/micro-prudential/3504951/black-box-models-present-challenges-us-regulators)
Регуляторный/правовой риск.Использование моделей ОД, если только они не подлежат жесткому управлению и надзору, может привести к юридическим рискам. Обычно это результат других рисков, таких как риск предвзятости или риск черного ящика. Классический пример — когда Министерство жилищного строительства и городского развития США подало в суд на Facebook за использование инструментов, дискриминирующих определенные слои общества в рекламе, связанной с жильем. (https://www.theverge.com/2019/3/28/18285178/facebook-hud-lawsuit-fair-housing-distribution)
Подробную статью на эту тему можно найти здесь: https://www.americanbar.org/groups/business_law/publications/committee_newsletters/banking/2019/201904/fa_4/
Технологические риски.Некоторые регулирующие органы забили тревогу в связи с угрозой захвата алгоритмов ИИ или данных преступниками. Страх проистекает из того факта, что некоторые аспекты алгоритма не могут быть объяснены интуицией или экспертом, предоставляя киберпреступникам брешь в броне, чтобы манипулировать данными или алгоритмом, чтобы искажать результаты в свою пользу. Член исполнительного совета Австралийского управления пруденциального надзора Джефф Саммерхейс (Geoff Summerhayes) предупредил об этом некоторое время назад: -96353.aspx")
В заключение следует сказать, что алгоритмы на основе ИИ должны подвергаться человеческому контролю и усмотрению, чтобы они не имели непредвиденных последствий. Они должны быть приведены в соответствие с моделью управления рисками учреждения, о которой мы поговорим в следующей части.