Понимание методов XAI

Методы XAI - Введение

Что такое методы XAI? Интерпретируемость против объяснимости. Таксономия интерпретируемости модели. Какие существуют методы атрибуции?

Объяснимый искусственный интеллект

Объяснимый искусственный интеллект (XAI) - одна из самых молодых и быстро развивающихся отраслей в этой области. Цель метода XAI - дать объяснение модели глубокого обучения, понятной людям. Это особенно важно в областях, критичных к безопасности, таких как здравоохранение или безопасность. Методы, представленные в литературе на протяжении многих лет, часто обещают дать четкий ответ на вопрос о том, как модель приняла свое решение.

Право на объяснение

Право на объяснение - это термин, используемый Европейским парламентом и Советом в Общем регламенте защиты данных (GDPR). Этот термин часто упоминается в отношении методов XAI и требует, чтобы контроллер данных объяснил, как механизм принял решение. Эта часть GDPR была создана с целью предотвратить использование систем, решение которых не может быть интерпретировано человеком (например, глубокие нейронные сети). Цель состоит в том, чтобы избежать дискриминации и этических / финансовых предубеждений в таких системах. В качестве примера можно использовать автоматизированную систему кредитного рейтинга. Подобные системы используются в процессе ипотечного кредитования. Законодательно запрещается дискриминировать человека на основе списка характеристик, но эта дискриминация может быть скрыта внутри системы черного ящика (даже без ведома создателя этой системы). Если заявка отклонена банком, заявитель может потребовать объяснения причин отказа. Это может помочь потенциально улучшить результат перед следующей подачей заявки.

Интерпретируемость против объяснимости

Не существует единого формального определения интерпретируемости и / или объяснимости в контексте машинного обучения, и часто оно используется как синонимы [2]. Арриета и др. [3] проводят различие между ними и определяют их как:

Определение 1.1 (Интерпретируемость) Пассивная характеристика модели относится к уровню понимания внутреннего процесса принятия решений моделью для человека-наблюдателя.

Определение 1.2 (Объяснимость) Активная характеристика модели, связанная с понятием объяснения действия или процедуры, предпринятых моделью с целью прояснения ее внутреннего процесса принятия решений.

Название поля Объясняемый искусственный интеллект (XAI) относится к характеристике модели, но любое представление, представленное человеку (например, входная атрибуция), относится к интерпретируемости модели.

Таксономия интерпретируемости

Существует два основных типа моделей: модели белого ящика и модели черного ящика. Интерпретируемость первого типа определяется как Внутренняя [4]. Этот тип интерпретируемости охватывает все модели, которые имеют интерпретируемую внутреннюю структуру. Например, структура дерева решений считается интерпретируемой, а также внутренняя структура неглубокой нейронной сети. Это не относится к глубоким нейронным сетям, где используется интерпретируемость постфактум. Апостериорная интерпретируемость означает, что мы пытаемся объяснить предсказание модели, не объясняя точный внутренний механизм этой модели. Из-за сложности CNN интерпретируемость постфактум - единственный способ интерпретировать этот тип модели.

Примечание. Это не единственная таксономия интерпретируемости. Структура интерпретируемости может быть определена разными способами (либо по назначению, либо по методу, либо по приложению.

Модель-агностик и конкретная модель

Как показано в таксономии (см. Рис. 1), апостериорная интерпретируемость делится на независимую от модели и специфичную для модели [5]. Методы, не зависящие от модели, - это методы, которые можно применять к любой модели черного ящика, не беспокоясь о внутренней структуре модели. Эти методы обычно менее точны, но потому, что они объясняют поведение моделей только на основе входных и выходных данных. С другой стороны, методы, специфичные для модели, связаны с конкретным типом модели. Тип определяется в общих чертах и ​​может относиться ко всему домену, например, CNN или конкретной архитектуре CNN.

Методы атрибуции

Методы атрибуции - это один из типов апостериорных методов (см. Раздел «Без привязки к модели и для конкретной модели»). Методы атрибуции, как следует из названия, приписывают входные характеристики заданному прогнозу. Его можно определить как:

Определение 2.1 (метод атрибуции). Для входного вектора x ∈ R ^ n где n n представляет количество измерений, class C и модель F: R ^ n → R ^ C . Метод атрибуции определяется как A (F, x, C): R ^ n → R ^ n . Предоставленное объяснение соответствует «важности» элемента из входного вектора для данного класса C и модели F .

Это определение можно переписать, чтобы оно соответствовало входу обычной сверточной нейронной сети с входной матрицей m × n:

Определение 2.2 (метод атрибуции - CNN). Для входной матрицы x ∈ R ^ {m × n} где m × n представляет размеры входа, класса C и модели F: R ^ {m × n} → R ^ C . Метод атрибуции определяется как A (F, x, C): R ^ {m × n} → R ^ {m × n} . Приведенное объяснение соответствует «важности» элемента из входной матрицы для данного класса C и модели F .

Чтобы лучше визуализировать атрибуцию, мы можем взглянуть на Рисунок 2. Для предсказания класса ibizan_hound каждому пикселю входного изображения было присвоено значение, которое определяло его атрибуцию к предсказанию. Пиксели (элементы) с более высокой атрибуцией могут считаться более важными при прогнозировании этого класса. Мы видим, что пиксели с наивысшими значениями атрибуции - это пиксели по краям головы и ушей собаки.

Как и в случае интерпретируемости и объяснимости (раздел «Интерпретируемость и объяснимость»), здесь нет согласия по поводу словарного запаса. Методы атрибуции часто называют «методами значимости», «релевантностью характеристик», «важностью характеристик», «тепловыми картами» , «активации нейронов» и «маски заметности».

Методы измерения XAI

Количественное и качественное исследование

Тип исследования можно разделить на качественный или количественный [7]. Качественный тип исследования часто связан с наблюдением и обработкой нечисловых данных. В отличие от качественного исследования, это называется количественным исследованием, и оно основывается на численном анализе собранных данных. Интерпретируемость моделей машинного обучения - это область исследования, ориентированная на человека. Вот почему большинство исследователей метода XAI основывают свои решения на качественных показателях, а не на количественных.

Качественные меры

В качественных исследованиях данные собираются посредством наблюдения, пулов или интервью. Такие данные очень субъективны и связаны с лицом, предоставляющим данные. Пример такой субъективной меры показан на рисунке 3. Если представить две атрибуции для одного и того же входного изображения, решение о том, какая из них лучше, может измениться в зависимости от человека. Это еще более вероятно, когда две атрибуции имеют одинаковое «качество».

Результаты качественных показателей нельзя сравнивать друг с другом без конкретного контекста и предварительных знаний о производителях данных. Даже с такими знаниями сравнение результатов может быть затруднено. То же самое относится и к воспроизводимости, если повторить измерение, мы должны быть уверены, что все участники дадут одинаковый ответ. Еще одна проблема качественных показателей - их масштабируемость. Поскольку большинство методов полагаются на человеческий вклад, чтобы снова измерить тот же метод или сравнить его с другим методом, мы должны повторить работу дважды.

Количественные меры

Данные количественного исследования хранятся в числовой форме. Эта числовая форма должна быть сопоставима с другими данными, измеренными таким же образом. Каждое измерение можно повторить, и когда оно будет выполнено один раз, его можно будет использовать снова и снова. Этот тип исследования имеет огромное преимущество перед качественным исследованием из-за его масштабируемости. Проблема качественного измерения заключается в том, что мы должны определить меру, чтобы получить значимые результаты. Определение меры визуального восприятия человека - сложная задача, и сама мера должна быть объективной, что еще сложнее при попытке измерить такие сложные вещи, как атрибуция. Наличие такой меры позволяет нам легко сравнивать и воспроизводить эксперименты.

Чувствительность и неверность

Если вас интересуют количественные методы, я написал статью о показателях неверности и чувствительности. Две самые популярные метрики уже реализованы в Библиотеке Captum. Статья доступна здесь:

Измерение методов XAI с помощью неверности и чувствительности

  1. Регламент (ЕС) 2016/679 Европейского парламента и Совета от 27 апреля 2016 г. о защите физических лиц в отношении обработки персональных данных и о свободном перемещении таких данных, а также об отмене Dir 95/46 / EC (Общие правила защиты данных) 2016.
  2. Р. Гуидотти, А. Монреале, С. Руджери, Ф. Турини, Ф. Джаннотти, Д. Педрески. Обзор методов объяснения моделей черного ящика. Вычислительные обзоры ACM (CSUR), 51 (5): 1–42, 2018.
  3. А.Б. Арриета, Н. Диас-Родригес, Х. Дель Сер, А. Беннетот, С. Табик, А. Барбадо, С. Гарсия, С. Хиль-Лопес, Д. Молина, Р. Бенджаминс, и. интеллект (xai): концепции, таксономия, возможности и вызовы ответственному искусственному интеллекту ». Информационный синтез, 58: 82–115, 2020.
  4. О. Биран, К. Коттон. Объяснение и обоснование в машинном обучении: обзор. Семинар IJCAI-17 по объяснимому ИИ (XAI), том 8, страницы 8–13, 2017.
  5. А. Адади, М. Беррада. Заглядывать внутрь черного ящика: исследование объяснимого искусственного интеллекта (xai). Доступ IEEE, 6: 52138–52160, 2018.
  6. А. Хосла, Н. Джаядевапракаш, Б. Яо, Л. Фей-Фей. Набор данных собак Стэнфордского университета. Https://www.kaggle.com/jessicali9530/stanford-dogs-dataset, 2019. Дата обращения: 2021–10–01.
  7. Дж. У. Кресвелл. Образовательные исследования: планирование, проведение и количественная оценка. Прентис-Холл, Верхняя Седл-Ривер, Нью-Джерси, 2002.

Первоначально опубликовано на https://erdem.pl.