Отрасли, которые имеют дело с конфиденциальными данными, хорошо знакомы со стандартами соответствия, которые требуют прозрачности. Если вы запрашиваете кредит, компания обязана раскрыть причину вашего отказа или одобрения. Другие правила, такие как недавняя поправка к GDPR, требуют от компаний раскрывать информацию о том, как они будут использовать ваши данные. Финансовая отрасль имеет уникальные потребности в этом типе соответствия, поскольку финансовые данные очень конфиденциальны. При наличии правил прозрачности финансовые компании все больше заинтересованы в использовании прозрачных моделей ИИ. Доктор. Грег Майклсон из «Data Robot рассказывает, как финансовые компании продвигаются по этой сложной территории, в своем выступлении на ODSC East 2019 Проверка моделей искусственного интеллекта и машинного обучения — уроки, извлеченные из банковской отрасли.

[Статья по теме: Генеративно-состязательные сети для финансов]

Справочная информация об искусственном интеллекте и машинном обучении

Эксперты расходятся во мнениях относительно истинного определения ИИ. Майклсон цитирует несколько раз, в том числе изобретение калькулятора, где мы переместили цель для определения ИИ. Он определяет его как любой компьютер, который выполняет задачу, обычно требующую человеческого интеллекта.

Одним из примеров этого является компания сотовой связи. Простое действие по перенаправлению вашего звонка нужному человеку посредством сбора данных, т. е. ваших ответов на ряд вопросов, — это компьютерный интеллект, выполняющий человеческую задачу.

Именно это определение движет этими уроками. Майклсон описывает не только предысторию особых отношений финансового сектора с риском и проверкой, но и семь уроков, которые он извлек из набегов банковской отрасли на мир ИИ, в частности, что компании должны проверять модели ИИ и машинного обучения, когда дело доходит до финансовый сектор.

Что такое модельный риск?

Использование моделей в банковской сфере рискованно. Модельный риск возникает по двум причинам:

  • Модель может иметь фундаментальные ошибки и давать неточные результаты, если рассматривать ее в сравнении с ее целью проектирования.
  • Модель может быть использована неправильно или ненадлежащим образом, или может быть неправильное понимание ее ограничений.

Все, что следует за этим в финансовом секторе, отвечает этим двум правилам. Каждое финансовое учреждение обязано соблюдать это положение, и обеспечение соблюдения этого правила стоит учреждениям миллионы долларов.

Это вопрос как финансов, так и этики. Плохо реализованные модели влияют на реальных людей, вызывая проблемы во всем, от одобрения кредита до банковских счетов. Так много всего может пойти не так, и при рассмотрении жизненного цикла строительных решений возникает множество вопросов.

Он говорит: «Что, если кредит просрочен на 90 дней? Кредит просрочен? Может быть. Они могли потерять работу и снова начать платить, и все довольны?» Этот простой пример требует большого количества точных обучающих данных с учетом нюансов ответов. Есть много ошибок и много вопросов, которые нужно задать. Например:

  • Данные хорошие?
  • Где ты взял это?
  • У вас есть точные представления?
  • Была ли модель реализована должным образом?
  • Каковы ваши методологии тестирования?

Риск модели присутствует во всех разделах вашего решения. Хотя эти риски присутствуют во всех отраслях, деликатный характер финансов и государственного контроля увеличивает необходимость снижения этих рисков.

Правительство не говорит банкам, как подходить к этому типу соблюдения, только что должен быть план. Последующий план сложен и требует большой работы по двум линиям защиты с системой сдержек и противовесов.

  • Первая линия: строит модели и предоставляет документацию
  • Вторая строка: сверяет их с первой строкой.

Семь уроков банковской индустрии

Благодаря этим необходимым проверкам и растущему давлению на создание правильных моделей Майклсон извлек семь разных уроков из практического использования ИИ в финансовой отрасли.

# 1 Необходимость использования лучших практик по умолчанию

Когда вы работаете с большими командами специалистов по данным, не все из них хороши. Люди делают то, чего не должны, поэтому возможность применять лучшие практики снижает риск внедрения. Пример: как вы разделяете свои данные? Использование лучших практик помогает снизить риск, но, что более важно, вы должны усилить их.

# 2 Стандартизация сокращает трудоемкость документации

Каждый раз создавать всю документацию с нуля — нелепо. Стандартизация практики означает повторяемость. Документацию Data Robot можно создать одним нажатием кнопки, потому что у них есть лучшие практики, поэтому документация одинакова. Эта стандартизация оптимизирует весь подход и позволяет получать масштабные результаты.

№ 3. Процесс снижает изменчивость

Валидация имеет много негативных отзывов в прессе. Это необходимо для финансовых моделей, и введение стандартизации в то, как институты разрабатывают модели, делает это намного проще. Внедрите обучение, связанное с моделью, и применяйте передовой опыт с первого урока.

#4 Необходима проверка моделей ИИ и машинного обучения с помощью системы, основанной на оценке рисков

Вы не можете выполнить проверку на одном и том же уровне проверки для каждой отдельной модели, потому что не все модели имеют одинаковый ранг. Модели высокого риска должны иметь самый высокий уровень проверки. Модели с низким уровнем риска не нуждаются в такой же проверке. Усмотрение может помочь упростить процесс проверки и предоставить контекст.

# 5 Автоматизация упрощает бенчмаркинг

Майклсон весело признает, что это штекер Data Robot, но основной урок остается в силе. Автоматизация бенчмаркинга может сэкономить организации миллионы долларов и массу человеческого труда. Финансовые учреждения должны стремиться к такой автоматизации.

6. Прозрачность означает разные вещи для разных людей

Прозрачность — подвижное понятие. Понимание того, как ваша организация определяет прозрачность и как ее определяют регулирующие органы, позволит вам построить более логичный диалог о прозрачности. Майклсон считает, что нам нужно быть осторожными в том, что означает прозрачность, то есть не ставить прозрачность выше точных результатов.

# 7 Автоматизация снижает риск внедрения

Модели с тысячами строк кода более подвержены ошибкам. Чем больше автоматизации вы вводите, тем меньше у вас шансов на ошибку, потому что вы снижаете человеческий фактор риска. Это последний урок для финансовых учреждений, стремящихся к масштабированию, и это действительно помогает при проверке моделей ИИ и машинного обучения.

[Статья по теме: Большие области нанимают специалистов по данным на 2020 год]

Исходное сообщение здесь.

Читайте другие статьи по науке о данных на OpenDataScience.com, включая учебные пособия и руководства от начального до продвинутого уровня! Подпишитесь на нашу еженедельную рассылку здесь и получайте последние новости каждый четверг.