Внутри ИИ

X-AI, черные ящики и хрустальные шары

Дорога к надежному ИИ

На нашем пути к надежному ИИ я обсуждал в своем предыдущем блоге вопрос о предвзятости, о том, как она передается от людей к машинам, как ее усиливают приложениями ИИ, о последствиях в реальном мире для отдельных лиц и предприятий и важность проактивного решения этой проблемы. Сегодня я затрону вопрос объяснимости и прозрачности так называемых моделей черного ящика.

Выбор между объяснимостью и точностью?

Чтобы доверять, нужно понимать. Это верно в отношении отношений между людьми. Это также верно, когда речь идет о внедрении систем, расширяющих человеческие возможности для получения информации и принятия решений. Это партнерство между людьми и машинами. Как и в любом партнерстве, доверие - это ключ.

Возможно, неудивительно, что объяснимость алгоритмов искусственного интеллекта и машинного обучения (ML) стала одной из самых обсуждаемых и исследуемых тем в этой области.

Что значит для алгоритма быть объяснимым? Это означает, что система может передавать полезную информацию о своей внутренней работе, паттернах, которые она изучает, и результатах, которые она дает. Интерпретируемость - это более мягкая и легкая версия объяснимости. Система является интерпретируемой, если мы можем видеть, что происходит, и если мы можем разумно предсказать результат на основе входных переменных, даже если мы не обязательно знаем, как система пришла к своему решению.

Некоторые типы моделей, такие как деревья решений и линейные регрессии, довольно просты, прозрачны и легки для понимания. Мы знаем, как изменение входных данных повлияет на прогнозируемый результат, и можем оправдать каждый прогноз.

К сожалению, та же сложность, которая дает экстраординарные возможности прогнозирования для моделей «черного ящика», таких как глубокие нейронные сети, случайные леса или машины для повышения градиента, также делает их очень трудными для понимания (и доверия). Принцип работы любой технологии машинного обучения непрозрачен даже для компьютерных ученых. По своей природе глубокое обучение представляет собой особенно темный черный ящик.

Проблема усугубляется большими объемами данных, используемых для обучения этих моделей, что затрудняет определение того, какие точки данных имеют большее влияние на результат, чем другие. Тот факт, что алгоритмы машинного обучения со временем развиваются, также усложняет задачу, потому что алгоритмы продолжают учиться на новых данных.

В конце концов, это компромисс между точностью и объяснимостью. Вопрос в том, насколько мы готовы пойти на компромисс. К сожалению, мы не достигли точки, когда у нас могут быть модели, которые одновременно являются очень точными и полностью прозрачными, хотя мы движемся в этом направлении.

Всегда ли это имеет значение?

Растет скептицизм и недоверие к моделям черного ящика. В результате инженеры и специалисты по обработке данных усердно работают над проблемой интерпретируемости. Регулятор тоже этим занимается. В 2018 году Общий регламент по защите данных Европейского союза (GDPR) ввел некоторые основные права для людей, которые должны быть проинформированы об автоматическом принятии решений, возражать против результатов этих решений и получать некоторую значимую информацию о задействованной логике. Однако он не дал права на объяснение. Совсем недавно ЕС назначил группу экспертов для решения этой сложной проблемы. Эти усилия уже привели к публикации руководств высокого уровня для надежного ИИ.

Объяснимость, безусловно, важнее всего, но всегда ли это действительно важно?

В этой блестящей статье Элизабет А. Холм придерживается более сбалансированной точки зрения, приводя аргументы в пользу моделей черного ящика, по крайней мере, в трех случаях:

  1. Когда цена неправильного ответа мала по сравнению с ценностью правильного ответа (например, для целевой рекламы)
  2. Когда он дает наилучшие результаты (от оказания медицинской диагностической помощи до вождения автономных автомобилей)
  3. Когда он вдохновляет и направляет человеческое исследование (например, привнося понимание, которого раньше не ожидали, и поднимая новые вопросы)

Необходимое условие для внедрения ИИ

Однако в большинстве других случаев объяснимость является необходимым условием для обеспечения принятия приложений ИИ.

Как можно доверять чему-то, если не знаешь, как это работает?

Достижения высокой степени точности при прогнозировании недостаточно, чтобы оправдать отсутствие объяснимости алгоритмов машинного обучения.

Возьмем для примера сектор здравоохранения.

Потенциальные преимущества ИИ в такой области, как здравоохранение, огромны. Например, компьютерное зрение может использоваться, чтобы помочь врачам идентифицировать опухоли по сканированию, повышая точность диагноза. Подобные методы можно использовать для прогнозирования заболеваний до появления каких-либо симптомов. Однако эти системы обречены на провал, если они не могут предоставить какой-либо уровень объяснения практикующим врачам и пациентам. Кто, в конце концов, захочет начать инвазивную операцию или лечение с серьезными побочными эффектами только на основе компьютерного прогноза?

В 2015 году исследовательская группа больницы Mount Sinai в Нью-Йорке применила технологию глубокого обучения к обширной базе данных больницы, содержащей 700 000 историй болезни. Сотни переменных использовались для обучения системы под названием Deep Patient. Он оказался невероятно эффективным при прогнозировании таких заболеваний, как рак или психические расстройства. Без каких-либо инструкций эксперта Deep Patient обнаружил закономерности, скрытые в данных больницы, которые, казалось, указывали на то, когда у людей развивались эти состояния. Проблема в том, что инструмент не мог дать никаких подсказок о том, как он пришел к такому выводу. Без обоснования прогнозы, сделанные системой, были просто неприменимы.

Множество людей и организаций заняты экспериментами с ИИ и машинным обучением, раздвигая границы возможностей этой технологии. Однако я предсказываю, что выживут только системы, которые могут предложить некоторый уровень объяснимости и прозрачности.

Открытие черного ящика

К счастью, есть способы сделать черные ящики более прозрачными и алгоритмические методы, которые могут улучшить объяснимость ML.

Самый простой подход - использовать прокси-методы. Модели машинного обучения, которые обычно трудно интерпретировать, используются в качестве эталона для более интерпретируемых типов моделей.

Более сложные методы предполагают применение постмоделирующих диагностических методов, таких как:

  • Важность переменной (ВП), чтобы понять основные входные переменные.
  • Графики частичной зависимости (PDP), чтобы измерить предельное влияние функции на прогнозируемый результат модели машинного обучения.
  • Индивидуальное условное ожидание (ICE), которое похоже на PDP, но для отдельных экземпляров данных и предлагает большую детализацию на локальном уровне.
  • Локальные интерпретируемые независимые от модели объяснения (LIME), чтобы предоставить объяснение для конкретного прогноза. Это метод, не зависящий от модели, используемый для понимания модели путем изменения входных данных и наблюдения за изменением прогнозов.
  • Значения Шепли (SHAP) - метод, используемый в теории игр для определения того, какой вклад каждый игрок в совместной игре внес в ее успех. При моделировании каждое значение SHAP измеряет отрицательный или положительный вклад в прогноз каждой функции в модели.

Мне кажется, что для решения проблемы сложности мы добавляем еще один уровень сложности. Однако, похоже, это цена, необходимая для того, чтобы сделать черный ящик немного более прозрачным и заслуживающим доверия, а, следовательно, более полезным. Возможно, главная проблема заключается не столько в технологиях, сколько в культуре и практике групп специалистов по обработке и анализу данных. Все зависит от их желания и готовности включать требования объяснимости при проектировании, разработке и развертывании приложений ИИ.

Прозрачность без объяснения

Создание прозрачности и доверия к ИИ выходит за рамки объяснимости моделей черного ящика. Это только один аспект жизненного цикла сквозной аналитики, от данных до обнаружения, развертывания и принятия решения.

Процессы и инструменты должны иметь возможность установить отслеживаемость и происхождение данных, моделей и решений. Это необходимое условие для укрепления доверия к ИИ. Это также часто является требованием соответствия ИТ или нормативным требованиям.

Организации, приверженные созданию надежного ИИ, должны быть в состоянии ответить на ряд вопросов.

О данных

  • Какие данные мы использовали для обучения моделей?
  • Где это было получено?
  • Можем ли мы этому доверять?
  • Есть ли у нас правовая основа для обработки этих данных (особенно если они содержат личные или конфиденциальные данные)?
  • Насколько хороши данные? Качество достаточно хорошее?
  • Является ли он репрезентативным для приложения AI? Насколько много предвзятости оно могло содержать? Определили ли мы какие-либо дискриминационные переменные или переменные, которые могут быть связаны с дискриминационными (например, почтовые индексы иногда могут быть связаны с расой)?

Об аналитических моделях

  • Полностью ли задокументированы модели и контролируются ли версии?
  • Какие предположения были сделаны при проектировании и разработке этих моделей?
  • Есть ли у нас контролируемая среда и автоматизированные процессы для развертывания и тестирования моделей?
  • Имеют ли модели полную прослеживаемость на протяжении всего жизненного цикла аналитики?
  • Есть ли у нас формальный процесс для измерения точности и производительности моделей с течением времени?

О решениях, основанных на искусственном интеллекте

  • Какие решения были приняты с использованием результатов модели?
  • Какие данные использовались для принятия решения? Можно ли доверять этим данным?
  • Какое влияние эти решения оказали на результаты бизнеса и клиентов?
  • Есть ли у нас обратная связь от точки использования (где решения принимаются в реальном мире) до специалистов по обработке и анализу данных?

Создание надежных приложений ИИ выходит далеко за рамки объяснимости модели. Это требует от нас соблюдения принципа прозрачности как в используемых технологиях, так и в организации и бизнес-процессах. Это должны быть целенаправленные и активные усилия, чтобы гарантировать, что инновации, основанные на данных, сопровождаются эффективными бизнес-результатами и этичным использованием технологий искусственного интеллекта.

Для получения дополнительной информации прочтите 2 других моих блога по этой теме: