Включение причинно-следственной связи в объяснимый ИИ

Локальные объяснения с учетом причинно-следственных связей на основе LIME

Зачем нам причинность?

За последние несколько лет методы eXplainable Artificial Intelligence (XAI) переживают волну популярности из-за их способности давать понятные человеку объяснения, которые выражают обоснование моделей черного ящика, используемых системами принятия решений.

Несмотря на широкое распространение этих процедур, существенным недостатком методов XAI является предположение о независимости признаков, что подразумевает невозможность полагаться на непосредственные знания о потенциальных зависимостях между переменными. Действительно, поведение черного ящика обычно аппроксимируется путем изучения эффектов на случайно сгенерированные значения признаков, которые редко появляются в исходных выборках.

Следовательно, методы апостериорного объяснения могут фиксировать ассоциации данных между входными объектами и целевым классом, не гарантируя наличие каких-либо причинно-следственных связей между входными объектами.

Такая неспособность отделить корреляцию от причинно-следственной связи может давать неоптимальные или даже ошибочные объяснения лицам, принимающим решения [1].

Преимущества установления связи между причинностью и объяснимостью

Принцип каузального объяснения требует исследования каузальных опосредующих механизмов, лежащих в основе отношений интересов.

Причинное объяснение ценно, поскольку оно объясняет, как и почему возникает эффект, и предоставляет информацию о том, когда и где можно воспроизвести взаимосвязь.

Следует подчеркнуть интеграцию причинно-следственных связей в XAI, чтобы:

Получите более информативные и надежные объяснения
Предотвратить сбой процедур в непредвиденных обстоятельствах

LIME с учетом причинно-следственных связей

В [2]мы предлагаем новый подход, который преодолевает связанные с причинно-следственными связями недостатки современных методов постфактум локального объяснения, названных CALIME. для Объяснений, не зависящих от модели, с учетом причинно-следственных связей.

Основная идея CALIME заключается в локальном объяснении предсказаний любой модели черного ящика, принимая также во внимание лежащие в основе причинно-следственные связи в данных.

Метод основан на LIME [3], независимом от модели подходе к объяснению, который возвращает объяснения в виде векторов важности признаков.

Алгоритм LIME выполняет следующие шаги:

Генерация новых образцов затем получает их прогнозы с использованием исходной модели;

2. Взвешивание этих новых образцов по близости к объясняемому экземпляру.

Затем он строит линейную регрессию для этих вновь созданных выборок, включая красный крест. Пунктирная линия — это усвоенное объяснение, которое является верным локально (но не глобально).

Решающим недостатком LIME является то, что метод выборки генерирует синтетические выборки посредством случайных возмущений вокруг экземпляра, который необходимо объяснить.

Наша идея

Для достижения этой цели мы заменяем генерацию синтетических данных, выполняемую LIME путем случайной выборки, на GENCDA [4], генератор синтетических данных для табличных данных, который явно позволяет кодировать причинно-следственную структуру среди переменных.

GENCDA принимает в качестве входных данных реальный набор данных X, который должен быть расширен синтетическими данными, DAG G извлекается из X с помощью подхода Causal Discovery и набора дистрибутивов. Он возвращает синтетический набор данных, соответствующий обнаруженным причинно-следственным связям, смоделированным в DAG.

КАЛИМЕ

CALIME использует GENCDA в качестве генератора синтетических наборов данных для табличных данных, которые обнаруживают нелинейные зависимости между функциями и используют их во время генерации. Несмотря на кажущееся простое улучшение CALIME w.r.t. Как ни странно, способность нашего метода явно кодировать причинно-следственные связи обеспечивает значительную дополнительную ценность объяснений.

В частности, соблюдение зависимостей в процессе объяснения гарантирует, что локальные объяснения основаны на правдоподобных синтетических данных, а окончательные объяснения более заслуживают доверия и меньше подвержены возможному шуму. в данных.

Основные выводы

CALIME — это первый метод объяснения методом черного ящика, возвращающий важность характеристик в качестве объяснений, которые напрямую обнаруживают и включают причинно-следственные связи в процессе извлечения объяснений;
Результаты экспериментов показывают, что CALIME преодолевает недостатки LIME, касающиеся как точности имитации черного ящика, так и стабильности объяснений;
CALIME может укрепить доверие пользователей к системе ИИ. Это будет особенно полезно для областей с высоким уровнем воздействия, таких как финансовые услуги или здравоохранение (например, планирование терапии или мониторинг пациентов).