Понимание нейронных сетей с нейронно-символической интеграцией

Понимание нейронных сетей с нейронно-символической интеграцией

Доктор Джо Таунсенд, доктор Теодорос Касиумис и доктор Хироя Инакоси из отдела исследований искусственного интеллекта компании Fujitsu Research of Europe Ltd использовали нейронно-символическую интеграцию, чтобы лучше понять принципы искусственного интеллекта (ИИ). Они разработали два решения. Первое решение — ERIC: Извлечение отношений, выведенных из сверток, — открывает так называемый «черный ящик» ИИ и пытается перевести то, что находится внутри. Второй — Elite BackPropagation — с самого начала обучает модель быть интерпретируемой. Оба подхода можно применить к сверточной нейронной сети, типу парадигмы машинного обучения.

Люди часто представляют себе искусственный интеллект (ИИ) как «черный ящик», потому что им трудно понять знания, которые скрыты внутри него. Им также трудно понять причины выбора, сделанного ИИ. Это понимание требуется во многих ситуациях, связанных с так называемыми «критическими с точки зрения безопасности» задачами, такими как автономное вождение. Решения, принимаемые AI, возможно, должны быть проверены в целях страхования, для большей ответственности или для юридических исков. Более того, разработчикам и инженерам может потребоваться понимание этих решений ИИ, чтобы они могли их исправить и предотвратить любые потенциальные негативные последствия.

Доктор Джо Таунсенд, доктор Теодорос Касиумис и доктор Хироя Инакоси из отдела исследований искусственного интеллекта компании Fujitsu Research of Europe Ltd объясняют, что обычно существует два подхода к решению этой проблемы. Первый — это «вскрытие» черного ящика, чтобы перевести то, что внутри. Альтернатива включает в себя обучение модели ИИ, чтобы она была интерпретируемой с самого начала. Исследователи разработали решения для обоих подходов для типа парадигмы машинного обучения, называемой сверточной нейронной сетью (CNN). Эти два метода также могут быть развернуты как по отдельности, так и одновременно.

Сверточные нейронные сети
CNN — это глубокая нейронная сеть, предназначенная для обработки структурированных массивов данных, таких как изображения. Искусственные нейронные сети имитируют аспекты как структуры, так и функций человеческого мозга. В частности, CNN вдохновлены зрительной корой — областью мозга, которая обрабатывает визуальную информацию. CNN отлично улавливают такие шаблоны, как линии, градиенты, круги и даже глаза и лица. Это делает их очень подходящими для задач распознавания изображений, когда изображение обрабатывается серией слоев, которые постепенно идентифицируют более сложные функции. Однако в CNN полученная информация распределяется по миллионам искусственных нейронов, что очень затрудняет ее интерпретацию.

CNN состоят из слоев, но слои не полностью связаны. У них есть фильтры в виде наборов кубических весов, которые применяются по всему изображению (фильтры часто попеременно называют «ядрами» или «детекторами признаков»). Фильтры применяются к исходному изображению через сверточные слои и вводят совместное использование параметров и инвариантность перевода, поэтому один и тот же ответ создается независимо от того, как сдвинуты его входные данные. Сверточные слои содержат большинство определяемых пользователем параметров сети, включая количество фильтров, размер фильтров и функцию активации.

Общественное беспокойство по поводу того, насколько можно доверять ИИ, привело к увеличению спроса на надежный и объяснимый ИИ.

Надежный и объяснимый ИИ
Беспокойство общественности по поводу того, насколько можно доверять ИИ, привело к увеличению спроса на надежный и объяснимый ИИ. Доверенный ИИ подразумевает, что решение, принятое алгоритмом, может быть учтено, справедливо и не причинит вреда. Объяснимый ИИ связан с пониманием и объяснением того, как модели, обученные с помощью машинного обучения, принимают свои решения, или как они могут быть спроектированы или обучены, чтобы с самого начала быть объяснимыми.

Нейро-символическая интеграция
Область нейронно-символической интеграции касается объяснимого ИИ для искусственных нейронных сетей, изучения способов извлечения интерпретируемых символических знаний из обученных сетей, внедрения таких знаний в эти сети или оба. Например, если нейронная сеть обучена классифицировать данные о животных, извлеченное правило может сказать: «Если у нее есть крылья, это птица». Однако разработчик может исправить это предположение, внедрив в сеть тот факт, что «летучие мыши — это млекопитающие, но у них есть крылья».

ERIC: Извлечение отношений, выведенных из сверток
Исследовательская группа разработала ERIC: Извлечение отношений, выведенных из сверток, инструмент для «открытия» черного ящика. ERIC извлекает информацию, которая распределяется по CNN, и аппроксимирует ее в более удобоваримой форме. Информация от различных фильтров отображается в символы, называемые «атомами». Вместе они образуют правила, объясняющие поведение сети. Эти атомы и правила эквивалентны словам и предложениям, которые мы используем в нашем повседневном языке. В совокупности они образуют логическую программу, которую можно использовать в качестве основы для дальнейшего понимания поведения CNN.

Исследователи демонстрируют возможности ERIC, обучая CNN распознавать разные типы дорог: пустынные дороги, подъездные пути, леса, шоссе и улицы. Они выполнили задачу для одного сверточного слоя, а затем еще раз для нескольких сверточных слоев. Как только они извлекли логические программы, которые аппроксимировали поведение CNN с разумной степенью точности, они визуализировали и пометили извлеченные атомы, чтобы интерпретировать значения отдельных фильтров. Кроме того, они показывают, что фильтры представляют понятия, характерные для каждого отдельного типа дорог или общие для некоторых из этих типов. Они объясняют, что интерпретация атомов не всегда проста на основе визуального осмотра. Например, не всегда ясно, что общего у набора изображений, для которых активируется данный фильтр, или два фильтра могут активироваться для очень похожих понятий, неразличимых человеческим глазом. Это побудило их разработать Elite BackPropagation (ниже) для обучения CNN, чтобы он мог изучать «более аккуратные» представления, которые упрощают извлечение правил с использованием ERIC.

Исследователи объясняют, что когда они извлекали логические программы из нескольких сверточных слоев, эти программы приближали поведение исходной CNN с разной степенью точности в зависимости от того, какие и сколько слоев включены. Анализ извлеченных правил показал, что представляемые ими фильтры соответствуют семантически значимым понятиям. Более того, извлеченные правила представляют, как «думает» CNN. Эти эксперименты показывают, что фильтры могут быть сопоставлены с атомами, которыми, в свою очередь, можно управлять с помощью логической программы, и они приближаются к поведению исходной CNN.

ERIC уже предоставляет платформу для обнаружения важных символов, которые еще не получили ярлыки, но могут различать классы.

Elite BackPropagation
Исследовательская группа разработала еще одно решение, Elite BackPropagation (EBP), которое с самого начала включает обучение модели интерпретируемости. EBP делает это, обеспечивая разреженность активации по классам, то есть обучая CNN связывать каждую категорию с несколькими «элитными» фильтрами, которые редко, но сильно активируются по отношению к этой категории. Таким образом, изображения из определенного класса будут связаны с одной и той же группой элитных фильтров.

Например, при рассмотрении задачи классификации дорог категория изображений «шоссе» связана с небольшим набором фильтров, представляющих семантические понятия, присутствующие на шоссе, такие как зеленые дорожные знаки и автомобили. Исследователи демонстрируют, как связывание каждой категории с интерпретируемым набором разреженных нейронов позволяет им создавать более компактные правила, которые точно объясняют решения CNN без значительной потери точности. Примером одного из таких извлеченных правил для категории шоссе может быть «изображение представляет собой шоссе, потому что на нем зеленые дорожные знаки и автомобили, а пешеходов нет». Компактные правила более интерпретируемы, поскольку читатель может усвоить меньше информации. Эти правила, в свою очередь, состоят из строительных блоков, состоящих из меньших наборов атомов. Затем атомы можно повторно использовать в различных комбинациях в наборе правил и в разных классах.

Исследователи провели количественные сравнения EBP с несколькими методами разреженности активации из литературы с точки зрения точности, разреженности активации и извлечения правил. Они показывают, что EBP обеспечивает более высокую разреженность без ущерба для точности. Кроме того, правила, извлеченные из CNN, обученной с помощью EBP, извлекают знания CNN и используют меньше атомов, а также имеют более высокую точность.

Будущие направления
В настоящее время даже при использовании EBP фильтры/атомы помечаются интерактивно и требуют ручной проверки изображений, на которые они реагируют наиболее сильно. Исследователи стремятся автоматизировать этот процесс как для ERIC, так и для EBP. Вероятно, это потребует интеграции существующих методов сопоставления фильтров с семантическими понятиями. Эти методы, однако, имеют только конечные наборы меток, которые изначально были предоставлены людьми с конечным словарем. Методы извлечения знаний могут найти новые и важные символы, которые потребуют создания новых слов. ERIC уже предоставляет основу для обнаружения важных фильтров, которые еще не получили метки, но могут различать классы.

Исследовательская группа планирует изучить способы внедрения правил в сверточные нейронные сети. Это улучшит их интерпретируемость и возможности обобщения и является еще одной целью нейронно-символической интеграции в более общем плане. Это станет важным шагом на пути преодоления разрыва между нейронными сетями и символическими представлениями.

Личный ответ

Какие основные проблемы возникают при автоматизации процесса маркировки фильтров/символов как в ERIC, так и в EBP?

Для автоматической маркировки требуется процесс маркировки, предполагающий заранее определенный набор меток или какой-либо другой источник, из которого можно получить метки. Нет никакой гарантии, что в любом источнике есть метка для понятия, на которое реагирует данный фильтр, и нет даже никакой гарантии, что в любом человеческом языке есть слово для этого!

Ссылки

Таунсенд, Дж., Касиумис, Т., Инакоси, Х., (2020) ЭРИК: Извлечение отношений, выведенных из сверток. В: Ishikawa H, Liu CL, Pajdla T, Shi J, (eds) Computer Vision — ACCV 2020. Lecture Notes in Computer Science, 12624. Springer, Cham. doi.org/10.1007/978–3–030–69535–4_13

Касиумис, Т., Таунсенд, Дж., Инакоши, Х. (2021). Elite BackProp: обучение разреженных интерпретируемых нейронов. Материалы NeSy’20/21: 15-й международный семинар по нейронно-символическому обучению и мышлению, 25–27 октября 2021 г. ceur-ws.org/Vol-2986/paper6.pdf

Основы исследования

Исследования Fujitsu в области искусственного интеллекта направлены на создание устойчивого общества, разработку передовых технологий искусственного интеллекта, которые создают новые ценности и помогают преобразовать общество и бизнес. Джо присоединился к Fujitsu Research в 2015 году, получив докторскую степень по теме нейронно-символической интеграции. Теодорос присоединился к нам в 2019 году и имеет докторскую степень в области дифференциальной геометрии.

Цели исследования

Подразделение исследований искусственного интеллекта в Fujitsu Research of Europe Ltd использует нейронно-символическую интеграцию, чтобы лучше понять аргументацию искусственного интеллекта.

Финансирование

Работа ведется в рамках проекта Trusted AI Project компании Fujitsu Research.

Соавторы

• Хироя Инакоши