Новый набор инструментов для интерпретируемости машинного обучения.
Недавно я начал новый информационный бюллетень, посвященный образованию в области искусственного интеллекта. TheSequence - это информационный бюллетень, ориентированный на искусственный интеллект (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Интерпретируемость - одна из самых сложных задач в современных решениях машинного обучения. Хотя создание сложных моделей машинного обучения становится все проще, понимание того, как модели развивают знания и приходят к выводам, остается очень сложной задачей. Как правило, чем точнее модели, тем сложнее их интерпретировать. Недавно исследователи искусственного интеллекта из IBM открыли исходный код AI Explainability 360, новый набор современных алгоритмов, поддерживающих интерпретируемость и объяснимость моделей машинного обучения.
Выпуск AI Explainability 360 - первая практическая реализация идей, изложенных в десятках исследовательских работ за последние несколько лет. Точно так же, как традиционные программные приложения включают код инструментария для помощи в мониторинге времени выполнения, модели машинного обучения должны добавлять методы интерпретируемости для облегчения отладки, устранения неполадок и управления версиями. Однако интерпретация моделей машинного обучения намного сложнее традиционных программных приложений. Во-первых, нам нужно очень мало понимать, что делает модель машинного обучения интерпретируемой.
Строительные блоки интерпретируемости
Несколько месяцев назад исследователи из Google опубликовали очень исчерпывающий документ, в котором они обрисовали основные компоненты интерпретируемости. В статье представлены четыре основных задачи, которые необходимо сделать для интерпретации модели:
· Понимание того, что делают скрытые слои. Основная часть знаний в модели глубокого обучения формируется в скрытых слоях. Понимание функциональности различных скрытых слоев на макроуровне необходимо для интерпретации модели глубокого обучения.
· Понимание того, что делают скрытые слои. Основная часть знаний в модели глубокого обучения формируется в скрытых слоях. Понимание функциональности различных скрытых слоев на макроуровне необходимо для интерпретации модели глубокого обучения.
· Понимание того, как активируются узлы. Ключ к интерпретируемости заключается не в понимании функций отдельных нейронов в сети, а в понимании групп взаимосвязанных нейронов, которые срабатывают вместе в одном и том же пространственном местоположении. Сегментирование сети на группы взаимосвязанных нейронов обеспечит более простой уровень абстракции для понимания ее функций.
· Понимание того, как формируются концепции. Понимание того, как глубокая нейронная сеть формирует отдельные концепции, которые затем могут быть собраны в окончательный результат, является еще одним ключевым строительным блоком интерпретируемости.
Другой аспект, который следует понимать, заключается в том, что интерпретируемость режимов ИИ уменьшается по мере увеличения их сложности. Вы заботитесь о достижении наилучших результатов или вам важно понять, как эти результаты были получены? В этом суть противоречия между интерпретируемостью и точностью, которое лежит в основе каждого сценария машинного обучения. Многие методы глубокого обучения сложны по своей природе, и, хотя они очень точны во многих сценариях, их может быть невероятно сложно интерпретировать.
Чтобы решить проблему объяснимости, модели машинного обучения должны включать в себя интерпретируемые строительные блоки для первоклассного гражданина. Это цель нового набора инструментов IBM.
Объяснение ИИ 360
AI Explainability 360 - это набор инструментов с открытым исходным кодом для оптимизации реализации интерпретируемых моделей машинного обучения. Набор инструментов включает в себя серию алгоритмов интерпретируемости, которые отражают современные исследования в этой теме, а также интуитивно понятный пользовательский интерфейс, который помогает понять модели машинного обучения с разных точек зрения. Один из основных вкладов AI Explainability 360 заключается в том, что он не полагается на единственную форму интерпретации модели машинного обучения. Точно так же, как люди полагаются на богатые, выразительные объяснения для интерпретации конкретного результата, объяснимость моделей машинного обучения варьируется в зависимости от задействованных персонажей и контекста. AI Explainability 360 дает разные объяснения для разных ролей, таких как специалисты по обработке данных или заинтересованные стороны в бизнесе.
Объяснения, генерируемые AI Explainability 360, можно разделить на две основные группы в зависимости от того, основаны ли они на данных или на моделях.
· Данные: понимание характеристик набора данных очень часто является кратчайшим путем к объяснимости. Это особенно верно в отношении алгоритмов контролируемого обучения, которые в значительной степени полагаются на наборы данных для получения соответствующих знаний. Иногда функции в данном наборе данных значимы для потребителей, но в других случаях они запутаны, то есть несколько значимых атрибутов объединяются в одну функцию. AI Explainability 360 включает несколько алгоритмов, ориентированных на интерпретируемость данных.
· Модель. Интерпретация моделей является ключевым строительным блоком любой объяснимости машинного обучения. Есть несколько способов сделать модель машинного обучения понятной для потребителей. Первое различие - прямая интерпретируемость и апостериорное объяснение. Непосредственно интерпретируемые модели - это форматы моделей, такие как деревья решений, наборы логических правил и обобщенные аддитивные модели, которые довольно легко понять людям и узнать прямо из данных обучения. Методы апостериорного объяснения сначала обучают модель черного ящика, а затем строят другую модель объяснения поверх модели черного ящика. Второе различие - глобальное и локальное объяснение. Глобальные объяснения относятся к моделям в целом, тогда как локальные объяснения относятся к отдельным точкам выборки.
Различие между глобальными интерпретируемыми моделями, глобальными и локальными апостериорными объяснениями является одним из ключевых вкладов AI Explainability 360. Как правило, глобальные интерпретируемые модели лучше подходят для сценариев, которые требуют полных и дискретных путей интерпретации моделей. Многие из этих сценариев включают такие области, как безопасность, надежность или соответствие требованиям. Глобальные апостериорные объяснения полезны для лиц, принимающих решения, которых поддерживает модель машинного обучения. Врачи, судьи и кредитные специалисты получают общее представление о том, как работает модель, но обязательно существует разрыв между моделью черного ящика и объяснением. Местные апостериорные объяснения актуальны для таких индивидуумов, как пациенты, ответчики заявителей, на которых влияет результат модели и которым необходимо понимать ее интерпретацию с их очень конкретной точки зрения.
Разработчики могут начать использовать AI Explainability 360, включив интерпретируемые компоненты с помощью API, включенных в набор инструментов. Кроме того, AI Explainability 360 включает серию демонстраций и руководств, которые могут помочь разработчикам относительно быстро приступить к работе. Наконец, набор инструментов предоставляет очень простой пользовательский интерфейс, который можно использовать для начала работы с концепциями интерпретируемости машинного обучения.
Интерпретируемость - один из важнейших строительных блоков современных приложений машинного обучения. AI Explainability 360 предоставляет один из наиболее полных стеков для упрощения интерпретируемости программ машинного обучения без необходимости становиться экспертом в этой конкретной области исследований. Вполне вероятно, что мы увидим, как некоторые идеи, лежащие в основе AI Explainability 360, будут включены в основные фреймворки и платформы глубокого обучения.
