Объяснимость, предвзятость, воспроизводимость и подотчетность

Аннотация . С ростом внедрения систем AI / ML с открытым исходным кодом на предприятиях необходимо обеспечить ответственное обучение и развертывание приложений AI / ML. Эти усилия осложняются тем, что различные правительственные организации и регулирующие органы выпускают свои собственные руководящие принципы и политики, практически не согласовывая определения терминов, например существует более 20 определений «справедливости». В этой статье мы представим обзор, в котором объясняются ключевые компоненты этой экосистемы: данные, модели, программное обеспечение, этика и управление поставщиками. Мы опишем соответствующие нормативные акты, чтобы отделы нормативно-правового соответствия и юристов были лучше подготовлены к созданию всеобъемлющей структуры управления ИИ. Попутно мы также выделим некоторые из доступных сегодня технических решений, которые можно использовать для автоматизации этих требований соответствия.

Это расширенная статья, сопровождающая мою презентацию Open Source Enterprise AI / ML Governance на Саммите открытого соответствия Linux Foundation, декабрь 2020 г. (ссылка) (pptx)

Корпоративный ИИ

Последние 4–5 лет мы много работали над внедрением различных сценариев использования AI / ML на предприятиях. Мы сосредоточились на создании самых эффективных моделей, и теперь, когда у нас есть несколько из них в производстве; пришло время выйти за рамки точности модели и перейти к более целостной структуре корпоративного управления ИИ, которая обеспечивает соответствие нашего внедрения ИИ стратегии, принципам и политикам организации.

Интересным аспектом таких предприятий, даже для средних, является то, что варианты использования AI / ML широко распространены. Сценарии корпоративного использования можно в общих чертах классифицировать по трем основным возможностям AI / ML, которые позволяют им: обработка естественного языка (NLP), компьютерное зрение и прогнозная аналитика (кратко показано на рисунке ниже).

Их распространенность также означает, что они внедряются и развертываются с помощью разнообразного сочетания подходов на предприятии. Мы можем в общих чертах разделить их на три категории (суммированные на рисунке ниже):

  1. Модели, разработанные и обученные с нуля на основе фреймворков машинного обучения с открытым исходным кодом, например scikit, TensorFlow, PyTorch. Возможно, использовалось трансферное обучение. Дело в том, что в этом сценарии у нас есть полный исходный код и видимость данных. Недавно созданное Linux Foundation AI & Data Community (ссылка) играет важную роль в поддержке и продвижении этой процветающей экосистемы проектов с открытым исходным кодом, связанных с AI / данными.
  2. Пользовательские приложения AI / ML, разработанные путем вызова API-интерфейсов ML (например, NLP, Computer Vision, Recommenders), предоставляемых поставщиками облачных услуг, например AWS, Azure, Google Cloud, Bluemix. API-интерфейсы Cloud ML можно рассматривать как модели машинного обучения черного ящика, в которых мы не видим обучающих данных и базового алгоритма AI / ML. Однако мы сохраняем видимость логики приложения.
  3. Наконец, мы рассматриваем «интеллектуальную» функциональность, встроенную в наборы приложений ERP / CRM, в основном те, которые предоставляются SAP, Salesforce, Oracle. У нас очень мало контроля или видимости в таких сценариях, в основном мы действуем как пользователи приложения «Программное обеспечение как услуга» (SaaS) - ограничены инструментами разработки конкретных поставщиков.

Излишне говорить, что возможно сочетание трех режимов. И во всех трех случаях уровень видимости / контроля варьируется в зависимости от того, выполнялась ли реализация внутренней командой или сторонним партнером (интегратором услуг). Итак, первая задача с точки зрения корпоративного управления - создать реестр всех развертываний ИИ, зафиксировав, по крайней мере, следующие детали:

Пример использования | Обучение / Характеристики исходных данных | Тип модели (алгоритм) | Нормативные требования к бизнес-функциям | Регион развертывания

Этический ИИ

«Этический ИИ, также известный как ответственный (или заслуживающий доверия) ИИ, - это практика использования ИИ с добрыми намерениями для расширения прав и возможностей сотрудников и предприятий и справедливого воздействия на клиентов и общество. Этичный ИИ позволяет компаниям вызывать доверие и уверенно масштабировать ИИ ». [1]

Неспособность реализовать этический ИИ может не только подвергнуть предприятия репутационным, нормативным и юридическим рискам; но также приводит к неэффективной трате ресурсов, неэффективности разработки продуктов и даже к невозможности использовать данные для обучения моделей искусственного интеллекта. [2]

В последнее время наблюдается тенденция к ответственному обучению и развертыванию приложений AI / ML в соответствии со стратегией и политиками предприятия. Это, конечно, хорошие новости, но это осложнилось тем, что различные правительственные организации и регулирующие органы выпустили свои собственные руководящие принципы и политики; практически без согласия или стандартизации определения терминов, например существует более 20 определений «справедливости» [3]. В недавнем обзоре [4] руководств по этике ИИ почти 84 документов по всему миру резюмировалось, что «не было единого этического принципа, общего для всех 84 документов по этическому ИИ, которые мы рассмотрели».

  • Руководящие принципы ЕС по этике для надежного ИИ (ссылка)
  • Руководство Великобритании по системе аудита ИИ (ссылка)
  • Сингапурская модель управления ИИ (ссылка)

Компании-разработчики программного обеспечения (Google, Microsoft, IBM) и крупные консалтинговые компании (например, Accenture, Deloitte) также поддержали эту идею, опубликовав свои собственные кулинарные книги по Кодексу этики ИИ.

  • AI в Google: наши принципы (ссылка)
  • Руководители Microsoft AI (ссылка)
  • IBM Trusted AI for Business (ссылка)
  • Accenture Responsible AI: основа для укрепления доверия к вашим решениям в области искусственного интеллекта (ссылка)

В целом, они следуют схожей сюжетной линии, сначала излагая свою цель, основные принципы, а затем описывая то, что они будут (и не будут) преследовать - в основном сосредоточившись на социальных преимуществах, справедливости, подотчетности, правах пользователей / конфиденциальности данных.

На данном этапе все они кажутся упражнениями по связям с общественностью с очень небольшими подробностями о том, как применять эти высокоуровневые принципы в масштабных сценариях использования ИИ.

В контексте вышеупомянутого обсуждения мы теперь снова обращаем внимание на четыре основных принципа AI / ML, которые нам нужно начать применять (или, по крайней мере, начать думать) на предприятиях - в идеале, как часть всеобъемлющей структуры управления AI. Пятым аспектом будет «Конфиденциальность данных», который, по нашему мнению, уже получил достаточное освещение, и на предприятиях существуют зрелые методы решения этих проблем.

1. Объяснимость

Объясняемый ИИ - это общий термин для ряда инструментов, алгоритмов и методов; которые сопровождают прогнозы модели ИИ с объяснениями. Объяснимость и прозрачность моделей ИИ явно занимает одно из первых мест в списке «нефункциональных» функций ИИ, которые предприятия должны рассматривать в первую очередь. Например, это подразумевает необходимость объяснения, почему модель машинного обучения относит пользователя к определенному сегменту - что привело его / ее к получению рекламы. Этот аспект также охвачен «Правом на объяснение» в большинстве нормативных актов, например Нижеследующий абзац цитируется из Сингапурской концепции управления ИИ:

«Следует отметить, что техническая объяснимость не всегда может быть поучительной, особенно для обывателя. Неявные объяснения того, как работают алгоритмы моделей ИИ, могут быть более полезными, чем явные описания логики моделей. Например, предоставление человеку контрфактических фактов (таких как «вы были бы одобрены, если бы ваш средний долг был на 15% ниже» или «это пользователи с похожими профилями на ваш, которые получили другое решение») может быть мощным объяснением. что организации могли бы рассмотреть ».

GDPR ЕС также охватывает «Право на объяснение» - см. Статьи ниже:

Ограничения на принятие решений, основанные исключительно на автоматизированной обработке и профилировании (статья 22).
Право на получение значимой информации о логике принятия решения (статьи 13, 15)

Обратите внимание, что GDPR не предусматривает «Право на объяснение», а скорее устанавливает «Право на информацию». GDPR допускает возможность полностью автоматизированного принятия решений, если личные данные не задействованы, и цель не состоит в том, чтобы оценить личность пользователя - в таких сценариях необходимо вмешательство человека.

Практики AI / ML знают, что прозрачность данных и исходного кода - это не то же самое, что «объяснимость». Алгоритмы машинного (глубокого) обучения различаются по уровню точности и объяснимости, которые они могут обеспечить - неудивительно, что часто они обратно пропорциональны.

Например, фундаментальные алгоритмы машинного обучения, например, логистическая регрессия, деревья решений, обеспечивают лучшую объяснимость, поскольку можно отслеживать веса и коэффициенты независимых переменных, а также различные пути от узлов к листьям в дереве. Можно заметить, что «объяснимость» становится все труднее, когда мы переходим к случайным лесам, которые в основном представляют собой совокупность деревьев решений. В конце спектра находятся нейронные сети, показавшие точность человеческого уровня. Очень сложно соотнести влияние (гипер) параметра, назначенного слою нейронной сети, на окончательное решение - в глубокой (многоуровневой) нейронной сети. Это также причина того, почему оптимизация нейронной сети в настоящее время остается очень спонтанным и ручным процессом - часто основанным на интуиции Data Scientist [5].

Также важно понимать, что «объяснение» может означать разные вещи для разных пользователей.

«Важно объяснить правильную вещь нужному человеку правильным образом в нужное время» [6]

Правильный уровень абстракции объяснения зависит от цели, знания предметной области и способности субъектов понимать сложность. Справедливо сказать, что сегодня большинство фреймворков объяснимости нацелены на разработчиков AI / ML.

Улучшение объяснимости моделей - активная область исследований в сообществе AI / ML, и был достигнут значительный прогресс в создании структур объяснимости, не зависящей от моделей. Как следует из названия, эти структуры отделяют объяснимость от модели, пытаясь сопоставить прогнозы модели с обучающими данными, не требуя каких-либо знаний о внутреннем устройстве модели.

Например, одна из самых известных структур, не зависящих от модели, - это локальные интерпретируемые, не зависящие от модели объяснения (LIME). LIME - это новый метод объяснения, который объясняет предсказания любого классификатора интерпретируемым и достоверным образом путем изучения интерпретируемой модели локально вокруг предсказания. LIME предоставляет простые для понимания (приблизительные) объяснения прогноза путем обучения модели объяснимости, основанной на образцах вокруг прогноза. Затем он взвешивает их на основе их близости к исходному прогнозу. Примерный характер модели объяснимости может ограничить ее использование для соответствия требованиям.

Например, на снимке ниже показан результат LIME искусственной нейронной сети (ИНС), обученной на подмножестве Набор данных о ценах на жилье в Калифорнии. Он показывает важные особенности, положительно и отрицательно влияющие на прогноз модели.

Как уже упоминалось, это активная область исследований, и прогресс продолжается с выпуском большего количества таких (иногда специфичных для модели) структур и инструментов объяснимости, например недавно выпущенный инструмент интерпретации языков НЛП от Google Research (ссылка). На практике для коммерческих систем текущим СОТА будет Facebook Почему вы видите этот пост [7].

Он включает информацию о том, как часто они взаимодействуют с автором сообщения, средством (видео, фотографии или ссылки); и популярность сообщения по сравнению с другими. Эта функция является расширением их статьи «Почему я вижу эту рекламу?», Которая включает информацию о том, как данные профиля пользователя в Facebook совпадают с данными, предоставленными рекламодателем.

3. Предвзятость и справедливость

[8] определяет AI / ML Bias «как явление, которое происходит, когда алгоритм дает результаты, которые являются системно предвзятыми из-за ошибочных предположений в процессе машинного обучения».

Предвзятость в моделях AI / ML часто бывает непреднамеренной, однако она слишком часто наблюдается в развернутых сценариях использования, чтобы к ней относиться легкомысленно. Google Photo помечает фотографии черного американского программиста гаитянского происхождения как гориллу по сравнению с более поздними изображениями Белый Барак Обама; являются примерами моделей машинного обучения, дискриминирующих по полу, возрасту, сексуальной ориентации и т. д. Непреднамеренный характер таких предубеждений не помешает вашему предприятию быть оштрафованным регулирующими органами или столкнуться с негативной реакцией общественности в социальных сетях, что приведет к потере бизнеса. Даже без вышеупомянутых последствий, этично, что модели AI / ML должны вести себя справедливо по отношению ко всем, без какой-либо предвзятости. Однако определение справедливости легче сказать, чем сделать. Означает ли справедливость, например, что одинаковое количество кандидатов мужского и женского пола получают высокие оценки риска? Или что один и тот же уровень риска дает одинаковую оценку независимо от пола? Одновременно выполнить оба определения невозможно [9].

Предвзятость закрадывается в модели искусственного интеллекта, в первую очередь из-за неотъемлемой предвзятости, уже присутствующей в обучающих данных. Таким образом, «информационная» часть разработки модели ИИ является ключом к устранению предвзятости.

[10] дает хорошую классификацию различных типов «предвзятости», возникающих на разных этапах жизненного цикла разработки AI / ML:

Сосредоточившись на типах систематической ошибки, связанной с "данными обучения",

  • Историческое предубеждение: возникает из-за исторического неравенства человеческих решений, зафиксированных в данных обучения.
  • Предвзятость представления: возникает из-за обучающих данных, не репрезентативных для реальной совокупности.
  • Ошибка измерения и агрегирования: возникает из-за неправильного выбора и комбинации функций.

Необходим подробный анализ обучающих данных, чтобы гарантировать, что они репрезентативны и равномерно распределены по целевой группе в отношении выбранных характеристик. Объяснимость также играет важную роль в обнаружении предвзятости в моделях AI / ML.

С точки зрения инструментов, индикаторы справедливости TensorFlow (ссылка) являются хорошим примером библиотеки, которая позволяет легко вычислять обычно определяемые метрики справедливости.

Здесь важно отметить, что обнаружение предвзятости - это не разовое мероприятие. Подобно мониторингу дрейфа модели, нам нужно спланировать, чтобы обнаружение смещения выполнялось на постоянной основе (в режиме реального времени). По мере поступления новых данных (включая петли обратной связи) объективная сегодня модель может стать необъективной завтра. Например, именно это произошло с чат-ботом для девочек-подростков от Microsoft, который за несколько часов после своего развертывания научился превращаться в любящего Гитлера секс-робота.

3. Воспроизводимость

Воспроизводимость - основной принцип этического ИИ, подразумевающий, что «все прогнозы ИИ / МО должны воспроизводиться». Если результат не может быть воспроизведен, ему нельзя доверять. Комбинация версии модели, (гипер-) настройки параметров, функций обучающего набора данных и т. Д., Которые вносят вклад в единый прогноз, может затруднить реализацию воспроизводимости на практике.

Чтобы сделать ИИ по-настоящему воспроизводимым, нам необходимо поддерживать точное происхождение и происхождение каждого предсказания машинного обучения.

Это обеспечивается сочетанием практик MLOps и Data Governance. Facebook AI Research (FAIR) недавно представил Контрольный список полноты кода машинного обучения для повышения воспроизводимости и предоставления набора передовых практик и оценок репозитория кода, что позволяет пользователям опираться на ранее опубликованные работы [11]. Хотя MLOps [12], кажется, в моде, на стороне данных присуща нехватка принципов / стандартизации. В этом контексте многообещающей структурой является FAIR [13], которая начала получать широкое распространение в медицинских исследованиях.

  • Возможность поиска: данные должны быть легко найдены как людьми, так и машинами, что подразумевает наличие обширных метаданных и уникального / постоянного идентификатора.
  • Доступность: доступ к данным можно получить в надежном режиме с условиями аутентификации и авторизации.
  • Совместимость: общая онтология для представления знаний, гарантирующая, что данные могут взаимодействовать с несколькими приложениями / рабочими процессами для анализа, хранения и обработки.
  • Возможность повторного использования: четкие спецификации происхождения / происхождения и лицензии на использование, чтобы данные можно было повторно использовать в различных настройках.

Хотя FAIR довольно интересен с точки зрения управления данными, еще неизвестно, как он будет принят за пределами исследований в области здравоохранения. Лицензии на открытые данные (например, Creative Commons) сильно отличаются от более зрелого ландшафта программного обеспечения с открытым исходным кодом, например Apache, Массачусетский технологический институт [14].

Существует большой риск того, что мы окажемся в другом беспорядке стандартизации / лицензирования, а не во всеобъемлющей структуре для хранения, доступа и анализа как данных, так и моделей (кода) единым образом.

4. Подотчетность

Подобно дебатам о беспилотных автомобилях относительно того, «кто виноват» в случае аварии? Это пользователь, производитель автомобилей, страховая компания или даже муниципалитет (из-за проблем с дорожными / светофором)? То же самое относится и к моделям искусственного интеллекта - кто несет ответственность, если что-то пойдет не так? как объяснено выше в случае предвзятого развертывания модели ИИ.

Подотчетность особенно важна. это важно, если модель искусственного интеллекта разрабатывается и обслуживается сторонним партнером / поставщиком.

Ниже мы изложим несколько вопросов (в форме контрольного списка), которые вам необходимо рассмотреть / уточнить перед подписанием контракта с вашим предпочтительным партнером:

  • Ответственность. В какой степени мы работаем с третьей стороной? Это сложно согласовать, и это зависит от того, в какой степени система ИИ может работать независимо. Например, в случае чат-бота, если боту разрешено предоставлять только ограниченный результат (например, отвечать потребителю только ограниченным количеством предварительно утвержденных ответов), то риск, вероятно, будет намного ниже по сравнению с открытому боту, который может свободно отвечать. Кроме того:
    Какие договорные обязательства мы должны согласовать (например, гарантии, SLA)?
    Какие меры нам необходимо принять, если что-то пойдет не так (например, планирование на случай непредвиденных обстоятельств)?
  • Право собственности на данные: данные имеют решающее значение для систем искусственного интеллекта, поэтому критически важно согласование вопросов владения не только данными обучения, но и входными данными, выходными данными и другими сгенерированными данными. Например, в контексте общения чат-бота с нашими потребителями [14]:
    - Входными данными могут быть вопросы, задаваемые потребителями во время взаимодействия с ботом.
    - Выходные данные могут быть ответами бота, т. е. ответы, данные потребителям ботом.
    - Другие сгенерированные данные включают информацию, полученную в результате использования ИИ нашими потребителями, например количество задаваемых вопросов, типы задаваемых вопросов и т. д.
    Кроме того, если поставщик генерирует обучающие данные, в основном оплачивая аннотацию; мы по-прежнему хотим владеть данными обучения?
  • Пункты Конфиденциальность и IP / Неконкурентность: помимо (обучающей) конфиденциальности данных, хотим ли мы помешать поставщику предоставлять нашим конкурентам доступ к обученная модель или, по крайней мере, какие-либо ее улучшения - особенно если это дает нам конкурентное преимущество? Что касается IP, нас в первую очередь интересует IP исходного кода - на алгоритмическом уровне.
    Кому принадлежат права на базовый алгоритм? Это собственность третьей стороны? Если да, согласовали ли мы соответствующие лицензионные права, чтобы мы могли использовать систему ИИ так, как мы хотим?
    Когда мы взаимодействуем с поставщиками для разработки системы ИИ, возможна ли патентная защита, и если да, то кто имеет право подавать заявку на патент?

Вывод

В заключение мы выделили четыре ключевых аспекта развертывания моделей AI / ML, которые нам нужно начать решать сегодня - в рамках целостной структуры управления AI на предприятиях.

Как и все в жизни, особенно. в ИТ нет четкого черного и белого, а общая политика ИИ, требующая использования только объяснимых моделей ИИ / машинного обучения, не является оптимальной - подразумевает упущение того, что могут предоставить необъяснимые алгоритмы.

В зависимости от сценария использования и географических правил всегда есть место для переговоров. Правила, относящиеся к различным вариантам использования (например, профилирование, автоматическое принятие решений), различны в разных регионах. Что касается предвзятости и объяснимости, у нас также есть полный спектр от «полностью объяснимого» до «частично объяснимого, но поддающегося проверке» до «полностью непрозрачного, но с очень высокой точностью». Учитывая это, существует необходимость сформировать знающую и междисциплинарную команду (состоящую как минимум из представителей ИТ, юристов, закупок и бизнеса), часто называемую Комитетом по этике ИИ, которая может принимать такие решения последовательным образом в режиме реального времени. с ценностями и стратегией компании.

использованная литература

  1. Р. Е-Портер. Помимо обещания: внедрение этичного ИИ (ссылка)
  2. Р. Блэкман. Практическое руководство по созданию этичного ИИ (ссылка)
  3. С. Верма, Дж. Рубин. Объяснение определений справедливости (ссылка)
  4. А. Джобин, М. Йенка, Э. Вайена. Глобальный обзор принципов этики ИИ (ссылка)
  5. Д. Бисвас. Готова ли AutoML для бизнеса ?. Medium, 2020 г. (ссылка)
  6. N. Xie, et. al. Объяснимое глубокое обучение: практическое руководство для непосвященных (ссылка)
  7. CNBC. В Facebook появился новый инструмент, который объясняет, почему вы видите определенные сообщения в своей ленте новостей (ссылка)
  8. SearchEnterprise AI. Предвзятость машинного обучения (предвзятость ИИ) (ссылка)
  9. К. Хао. Вот как на самом деле возникает AI Bias - и почему его так сложно исправить (ссылка)
  10. Х. Суреш, Дж. В. Гуттаг. Платформа для понимания непредвиденных последствий машинного обучения (ссылка)
  11. Facebook AI Research. Новый контрольный список полноты кода и обновления воспроизводимости (ссылка)
  12. Google Cloud. MLOps: конвейеры непрерывной доставки и автоматизации в машинном обучении (ссылка)
  13. GO Fair. Справедливые руководящие принципы управления научными данными и их рационального использования (ссылка)
  14. Д. Бисвас. Управление программным обеспечением с открытым исходным кодом на предприятии. Medium, 2020 г. (ссылка)
  15. Д. Бисвас. Конфиденциальность разговоров с чат-ботом. В продолжение 3-го семинара NeurIPS по машинному обучению с сохранением конфиденциальности (PPML), 2020 г. (бумага)
  16. Gartner. Улучшение уравнения доверия к машинному обучению с помощью объяснимых структур искусственного интеллекта (ссылка)
  17. Google. Устранение разрыва в подотчетности ИИ: определение сквозной структуры для внутреннего алгоритмического аудита (ссылка)
  18. Forbes. Целостность машинного обучения: четыре производственных столпа для надежного ИИ (ссылка)
  19. Форрестер. Пять принципов искусственного интеллекта, которые нужно применить на практике (ссылка)
  20. Делойт. Этика искусственного интеллекта: деловой императив для совета директоров и высшего руководства (ссылка)