XAI стремится обеспечить понимание того, как работают машинное обучение и искусственный интеллект и что влияет на принятие ими решений.
С ростом популярности и успешным применением во многих областях машинное обучение (МО) и искусственный интеллект (ИИ) также сталкиваются с растущим скептицизмом и критикой. В частности, люди задаются вопросом, обоснованы ли их решения и можно ли на них положиться. Поскольку после обучения сложно получить полное представление об их внутренней работе, многие системы машинного обучения, особенно глубокие нейронные сети, по сути считаются черными ящиками. Это затрудняет понимание и объяснение поведения модели. Однако объяснения необходимы, чтобы поверитьв правильность прогнозов, сделанных моделями. Это особенно важно, когда системы машинного обучения развернуты в системах поддержки принятия решений в чувствительных областях, где они влияют на возможности трудоустройства или даже на тюремные сроки. Объяснения также помогают правильно предсказать поведение модели, что необходимо, чтобы избежать глупых ошибок и выявить возможные предубеждения. Кроме того, они помогают получить обоснованное понимание модели, что необходимо для дальнейшего улучшения и устранения ее недостатков.
Объяснимый ИИ (XAI) пытается найти объяснение для моделей, которые слишком сложны для понимания людьми. Приложения варьируются от индивидуальных (локальных) объяснений конкретных результатов моделей черного ящика (например, почему мне было отказано в кредите? Почему предсказание классификатора изображений неверно?) до глобального анализа, который количественно определяет влияние различных функций (например, Каков самый большой фактор риска для определенного типа рака?).
Когда алгоритм ИИ становится моделью черного ящика?
Не существует определенного порога, когда модель становится черным ящиком. Как правило, простые модели с понятными структурами и ограниченным числом параметров, такие как линейная регрессия или деревья решений, обычно можно интерпретировать, не требуя дополнительных алгоритмов объяснения. Напротив, сложные модели, такие как глубокие нейронные сети с тысячами или даже миллионами параметров (весов), считаются черными ящиками, потому что поведение модели невозможно понять, даже если можно увидеть ее структуру и веса.
Обычно считается хорошей практикой использовать более простые (и более интерпретируемые) модели в случае, если нет существенной выгоды от развертывания более сложной альтернативы, идея, также известная как бритва Оккама. Однако для многих приложений, например, в области компьютерного зрения и обработки естественного языка, сложные модели обеспечивают более высокую точность предсказания, чем более простые и интерпретируемые варианты. В этих случаях обычно предпочтительнее более точный вариант. Это приводит к использованию сложных для понимания моделей черного ящика.
В отличие от внутренних объяснений простых моделей, которые интерпретируются дизайном, модели черного ящика обычно интерпретируются постфактум, то есть после обучения модели. В последние годы исследования выявили множество внешних методов, которые не зависят от модели, т. Е. Их можно применять ко многим различным (если не произвольным) моделям ML, от сложных лесов решений с форсированием до глубоких нейронных сетей.
Обзор объяснимых концепций ИИ для интерпретации моделей машинного обучения
Обычно существует два способа интерпретации модели машинного обучения: (1) объяснение всей модели сразу (глобальная интерпретация) или (2) объяснение отдельного прогноза (локальная интерпретация). Многие концепции объяснимости обеспечивают только глобальное или локальное объяснение, но некоторые методы могут использоваться для обоих.
Каковы приблизительные общие соображения? — Глобальный суррогат
Global Surrogate — это пример глобальной интерпретации. Общая идея состоит в том, чтобы обучить интерпретируемую модель машинного обучения (суррогатную) на выходе модели черного ящика. Так, например, при использовании машины опорных векторов (SVM) для задачи классификации в качестве суррогата можно использовать логистическую регрессию (один из наиболее известных и изученных классификаторов), обученную на результатах классификации SVM. предоставить более интерпретируемую модель. Этот метод не зависит от модели, поскольку любую модель черного ящика можно комбинировать с любой интерпретируемой моделью. Однако интерпретируемость полностью зависит от используемого суррогата. Важной частью является то, что суррогат обучается на результатах модели черного ящика. Поэтому выводы можно делать по модели, а не по данным. Суррогатная мать обычно не может идеально воспроизвести результаты. Это приводит к вопросу о том, когда аппроксимация является достаточно хорошей и можно ли достаточно хорошо смоделировать некоторые локальные решения.
Почему именно этот ответ? — Местный суррогат
В отличие от глобального суррогата, который пытается заменить модель черного ящика в целом, идея локального суррогата состоит в том, чтобы только аппроксимировать часть модели черного ящика, что является более простой задачей и может быть выполнено более точно. Хорошо известной работой, использующей этот принцип, является LIME Ribeiro et al. Общая идея состоит в том, чтобы выбрать точки вокруг предсказания, которые необходимо объяснить, и исследовать модель черного ящика. Результаты взвешиваются на основе их расстояния до точки, которую нужно объяснить, поскольку желательно локальное объяснение. Наконец, на этих взвешенных выборках обучается простая суррогатная модель, которая используется в качестве объяснения выходных данных сложной модели для этой самой точки запроса.
Преимущество этого метода в том, что он работает со многими типами данных (например, табличными данными, текстом, изображениями). Кроме того, уже простые суррогаты приводят к кратким и контрастным объяснениям, поскольку они должны быть действительными только для результатов, близких к прогнозу, который необходимо объяснить. Однако определить размер окрестности (т. е. присвоить веса выборкам) сложно. Другая проблема заключается в том, что объяснения нельзя считать устойчивыми. Это означает, что два примера, которые лишь незначительно различаются, могут быть объяснены совершенно по-разному, если лежащая в основе модель очень сложна в этой области, что затрудняет доверие к объяснениям.
Какие рассуждения привели к такому результату? — ШАП
Потребность в устойчивых объяснениях была важной мотивацией при разработке SHAP Лундбергом и соавт. Таким образом, он использует ценности Шепли — концепцию из теории игр — в качестве теоретической основы. Они были разработаны для справедливого распределения выплат между участниками коалиционной игры. В случае моделей ML эта идея используется для (справедливого) распределения вклада функций в результат. Это достигается путем предварительного расчета базовой скорости, которая относится к выходным данным модели при использовании среднего значения каждой функции в качестве входных данных. Один за другим этот средний ввод заменяется фактическим значением функции, чтобы объяснить конкретный прогноз, как показано на рисунке ниже. Разница между выходными данными при использовании среднего значения по всем значениям по сравнению с фактическим значением для конкретной выборки считается вкладом этого конкретного признака, что объясняет их влияние на общий результат. Однако, поскольку вклад может различаться в зависимости от порядка заполнения функций, теоретически необходимо охватить все возможные порядки, что привело бы к неосуществимой сложности времени выполнения O (n!). Решение этой проблемы производительности является одним из основных вкладов SHAP. Библиотека предоставляет способы ускорить и аппроксимировать эти вычисления до такой степени, что возможно не только обеспечить локальную интерпретацию конкретного прогноза, но и повторить этот процесс для нескольких прогнозов, чтобы обеспечить глобальную интерпретацию модели черного ящика. что позволяет исследовать влияние определенных функций на выходные данные модели.
Эта способность предоставлять локальные (объяснение конкретного ответа) и глобальные интерпретации (мысли, лежащие в основе модели) на прочной теоретической основе является основным преимуществом SHAP. Недостатками являются высокие вычислительные затраты, требующие аппроксимации, а также отсутствие специальной модели прогнозирования и уменьшения количества признаков. Тем не менее, SHAP является мощным инструментом для исследования моделей черного ящика, особенно в областях, требующих надежных объяснений, и, следовательно, уже часто применяется.
Помимо LIME и SHAP, которые являются двумя очень известными подходами, существует множество альтернативных концепций. Более полный обзор можно найти в замечательной книге Интерпретируемое машинное обучение Кристофа Молнара.
Кого винить в этом изменении KPI?
Итак, как это связано с проблемами Dynatrace? Dynatrace предоставляет мощную платформу, которая фиксирует большое количество метрик. Затем они автоматически анализируются для выявления аномалий и других проблем. Мы предполагаем, что в будущем пользователи смогут свободно комбинировать и объединять эти многомерные показатели для определения своих собственных ключевых показателей эффективности (KPI). Затем сами эти ключевые показатели эффективности можно снова рассматривать как временные сигналы, к которым можно применить автоматизированный анализ. При обнаружении проблемы следует инициировать анализ первопричины, чтобы определить источник проблемы. Однако из-за пользовательской агрегации основная проблема и, следовательно, отправная точка для дальнейшего анализа основных причин неясны. Рассмотрение пользовательской агрегации как модели черного ящика и входных сигналов как функций позволяет применить к этой проблеме ранее обсуждавшиеся подходы объяснимого ИИ. Они могут помочь определить параметры метрик, оказывающие наибольшее влияние на обнаруженную аномалию, которые затем являются хорошими отправными точками для дальнейшего анализа первопричин.
При использовании только простых операций и агрегаций применение подходов, основанных на возмущении, таких как SHAP, скорее всего, не самый эффективный способ получить эти сведения. Однако преимущество использования методов из набора инструментов объяснимого ИИ в этом сценарии заключается в том, что нет ограничений на создание и расчет ключевых показателей эффективности, даже если они включают методы машинного обучения. Таким образом, он обеспечит перспективный метод расчета, который не нужно будет применять при расширении возможностей пользовательского агрегирования сигналов.
Темы, обсуждаемые в этой статье, также были предметом доклада, прочитанного в Университете прикладных наук Верхней Австрии в марте 2021 года.
