Аббревиатура «XAI» означает «Объяснимый искусственный интеллект». Это относится к идее и методам, призванным сделать системы искусственного интеллекта (ИИ), особенно модели машинного обучения, более простыми для понимания и анализа людьми. Цель XAI — устранить разрыв между требованием, чтобы люди понимали суждения и логику, лежащие в основе этих алгоритмов, и присущей системам ИИ сложностью.
Нейронные сети и другие сложные модели часто функционируют как «черные ящики» в традиционном ИИ и машинном обучении. Эти модели могут делать точные прогнозы или решения, но сложно понять, как они приходят к таким результатам. Это отсутствие прозрачности может вызывать опасения, особенно в таких ключевых областях, как здравоохранение, банковское дело и автономные автомобили, где модели ИИ выносят существенные суждения в реальном мире.
Эту проблему решает XAI, предлагая обоснование выбора, сделанного алгоритмами ИИ. В рамках XAI существуют различные стратегии и методы, поддерживающие это:
1. Интерпретируемые модели: XAI поощряет использование более простых и понятных моделей, а не сложных моделей, таких как глубокие нейронные сети. Деревья решений, системы на основе правил и линейные модели — вот лишь несколько примеров.
2. Важность функции. В этом методе определяются функции (входные переменные), которые оказывают наибольшее влияние на прогнозы модели. Пользователи могут понять, какие элементы входных данных больше всего влияют на выводы модели, подчеркнув эти ключевые качества.
3. Локальные объяснения. Локальные объяснения сосредоточены на объяснении конкретных прогнозов, а не на описании всей модели. Эти обоснования дают пользователям представление о том, почему определенный экземпляр получил такой прогноз, что может быть особенно полезно для отладки и понимания поведения модели.
4. Общие пояснения. Эти пояснения дают общий обзор работы модели по отношению ко всем ее прогнозам. При этом могут использоваться визуализации, графики или текстовые сводки общих закономерностей и связей, обнаруженных моделью.
5. Противоречащие действительности объяснения. В этих обоснованиях приводятся примеры входных данных, которые могут привести к другим результатам. Например, контрфактическое объяснение может предлагать изменения в заявке на получение кредита, которые могут привести к одобрению, если модель отклонит заявку.
6. Визуализация: XAI часто использует визуализацию, чтобы более четко передать поведение сложной модели. Тепловые карты, например, могут отображать области изображения, которые больше всего влияют на решения о классификации.
7. Многоуровневые модели. Несколько стратегий XAI требуют разработки второй, более базовой модели, которая имитирует поведение более сложной модели. Суждения, сделанные исходной моделью, затем можно объяснить с помощью этой сокращенной модели.
Чтобы системы искусственного интеллекта были прозрачными, подотчетными и заслуживающими доверия, необходим XAI. Это позволяет пользователям, особенно нетехническим заинтересованным сторонам и специалистам в предметной области, понимать и подтверждать суждения, сделанные моделями ИИ. По мере дальнейшего внедрения ИИ во многие сферы жизни общества, XAI станет играть более важную роль в развитии продуктивного сотрудничества между человеком и ИИ.
Соавторы: Сантакумар Критик
Наставник: Бхарати Атинараянан
