"Машинное обучение"
Эта техника Google Brain упрощает интерпретацию машинного обучения
Concept Activation Vectors — интересная идея для понимания поведения моделей машинного обучения.
Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, у которого уже более 100 000 подписчиков. TheSequence — это информационный бюллетень, ориентированный на машинное обучение, без BS (то есть без шумихи, без новостей и т. д.), чтение которого занимает 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов машинного обучения, научных работ и концепций. Пожалуйста, попробуйте, подписавшись ниже:
Интерпретируемость остается одной из самых больших проблем современных приложений глубокого обучения. Недавние достижения в вычислительных моделях и исследованиях глубокого обучения позволили создать очень сложные модели, которые могут включать тысячи скрытых слоев и десятки миллионов нейронов. Хотя создать невероятно продвинутые модели глубоких нейронных сетей относительно просто, понимание того, как эти модели создают и используют знания, остается сложной задачей. Несколько лет назад исследователи из команды Google Brain опубликовали статью, в которой предлагается новый метод под названием Concept Activation Vectors (CAV), который по-новому подходит к интерпретируемости моделей глубокого обучения.
Интерпретируемость против точности
Чтобы понять технику CAV, важно понять природу проблемы интерпретируемости в моделях глубокого обучения. В нынешнем поколении технологий глубокого обучения существует постоянное противоречие между точностью модели и нашей способностью интерпретировать полученные знания. Трение между интерпретируемостью и точностью — это трение между способностью выполнять сложные задачи, связанные со знаниями, и пониманием того, как эти задачи были выполнены. Знание против контроля, производительность против подотчетности, эффективность против простоты… выберите свою любимую дилемму, и все они могут быть объяснены балансированием компромиссов между точностью и интерпретируемостью.
Вы заботитесь о получении наилучших результатов или вас заботит понимание того, как эти результаты были получены? Это вопрос, на который специалисты по данным должны ответить в каждом сценарии глубокого обучения. Многие методы глубокого обучения сложны по своей природе, и, хотя они дают очень точные результаты во многих сценариях, их может быть невероятно трудно интерпретировать. Если мы сможем изобразить некоторые из самых известных моделей глубокого обучения на диаграмме, которая соотносит точность и интерпретируемость, мы получим что-то вроде следующего:
Интерпретируемость в моделях глубокого обучения не является единой концепцией и может рассматриваться на нескольких уровнях:
Достижение интерпретируемости на каждом из уровней, определенных на предыдущем рисунке, требует нескольких фундаментальных строительных блоков. «В недавней статье исследователи из Google обрисовали в общих чертах то, что они считают одними из основных строительных блоков интерпретируемости.
Google резюмирует принципы интерпретируемости следующим образом:
— Понимание того, что делают скрытые слои. Основная часть знаний в модели глубокого обучения формируется в скрытых слоях. Понимание функциональности различных скрытых слоев на макроуровне необходимо для того, чтобы иметь возможность интерпретировать модель глубокого обучения.
— Понимание того, как активируются узлы. Ключом к интерпретации является не понимание функциональности отдельных нейронов в сети, а скорее групп взаимосвязанных нейронов, которые активируются вместе в одном и том же пространственном местоположении. Сегментация сети на группы взаимосвязанных нейронов обеспечит более простой уровень абстракции для понимания ее функциональности.
— Понимание того, как формируются понятия. Понимание того, как глубокая нейронная сеть формирует отдельные понятия, которые затем могут быть объединены в окончательный результат, — еще один ключевой элемент интерпретируемости.
Эти принципы были теоретической основой новой техники Google CAV.
Векторы активации концепции
Следуя идеям, обсужденным в предыдущем разделе, естественный подход к интерпретируемости должен заключаться в описании предсказаний модели глубокого обучения с точки зрения входных характеристик, которые она рассматривает. Классическим примером может служить классификатор логистической регрессии, в котором веса коэффициентов часто интерпретируются как важность каждого признака. Однако большинство моделей глубокого обучения работают с функциями, такими как значения пикселей, которые не соответствуют понятиям высокого уровня, понятным людям. Кроме того, внутренние значения модели (например, нейронные активации) могут показаться непонятными. Хотя такие методы, как карты заметности, эффективны для измерения важности конкретных областей пикселей, они не могут соотноситься с концепциями более высокого уровня.
Основная идея CAV заключается в измерении релевантности концепции в выходных данных модели. CAV для концепта — это просто вектор в направлении значений (например, активаций) набора примеров этого концепта. В своей статье исследовательская группа Google описывает новый метод линейной интерпретируемости под названием Testing with CAV (TCAV), который использует производные по направлениям для количественной оценки чувствительности предсказания модели к базовой концепции высокого уровня, изученной CAV. Концептуально TCAV был определен с учетом четырех целей:
— Доступность: от пользователя практически не требуется знаний в области машинного обучения.
— Настройка: адаптируется к любому понятию (например, полу) и не ограничивается понятиями, рассмотренными во время обучения.
— Готовность к подключаемым модулям: работает без какого-либо переобучения или модификации модели машинного обучения.
— Глобальная количественная оценка: может интерпретировать целые классы или наборы примеров с помощью одной количественной меры, а не просто объяснять отдельные входные данные.
Для достижения вышеупомянутых целей методология TCAV определяется тремя основными этапами:
1) Определите соответствующие концепции модели.
2) Понять чувствительность прогноза к этим концепциям.
3) Экстраполировать глобальное количественное объяснение относительной важности каждой концепции для каждого класса предсказания модели.
Первым шагом в методе TCAV является определение концепции интереса (CAV). TCAV достигает этого, просто выбирая набор примеров, представляющих эту концепцию, или находя независимый набор данных с помеченной концепцией. CAV изучаются путем обучения линейного классификатора различать активации, вызванные примерами концепции, и примерами на любом уровне.
Второй шаг заключается в создании оценки TCAV, которая количественно определяет чувствительность прогнозов к конкретному понятию. TCAV достигает этого, используя производные по направлению, которые измеряют чувствительность прогнозов машинного обучения к изменениям входных данных в сторону направления концепции на уровне нейронной активации.
На последнем этапе делается попытка оценить глобальную актуальность изученных CAV, чтобы не полагаться на нерелевантные CAV. В конце концов, у метода TCAV есть одна ловушка — возможность изучения бессмысленного CAV. В конце концов, использование случайно выбранного набора изображений все равно приведет к созданию CAV. Тест, основанный на такой случайной концепции, вряд ли будет иметь смысл. Чтобы решить эту проблему, TCAV вводит тест статистической значимости, который оценивает CAV в сравнении со случайным числом тренировочных прогонов, обычно 500. Идея состоит в том, что осмысленная концепция должна привести к результатам TCAV, которые ведут себя последовательно на протяжении тренировочных прогонов.
TCAV в действии
Команда Google Brain провела несколько экспериментов, чтобы оценить эффективность TCAV по сравнению с другими методами интерпретации. В одном из самых замечательных тестов команда использовала карту заметности, которая пытается предсказать релевантность подписи или изображения для понимания концепции такси. Результат карты значимости выглядит следующим образом:
Используя эти изображения в качестве тестового набора данных, команда Google Brain провела эксперименты с участием 50 человек на Amazon Mechanical Turk. Каждый рабочий выполнил серию из шести задач (3 класса объектов x 2 типа карт чужеродности), все для одной модели. Порядок задач был случайным. В каждом задании работник сначала видел четыре изображения вместе с соответствующими масками заметности. Затем они оценили, насколько важным, по их мнению, было изображение для модели (10-балльная шкала), насколько важна была подпись для модели (10-балльная шкала) и насколько они были уверены в своих ответах (5-балльная шкала). Всего turkers оценили 60 уникальных изображений (120 уникальных карт значимости).
Основная истина эксперимента заключалась в том, что концепция изображения была более актуальной, чем концепция подписи. Однако при просмотре карт заметности люди воспринимали концепцию подписи как более важную (модель с 0% шума) или не замечали разницы (модель со 100% шума). Напротив, результаты TCAV правильно показывают, что концепция изображения была более важной.
TCAV — один из самых инновационных подходов к интерпретации нейронных сетей за последние несколько лет. Код для первоначальных методов доступен на GitHub, и мы должны ожидать, что некоторые из этих идей будут приняты основными фреймворками глубокого обучения.
