Неконтролируемое прогрессивное обучение (UPL) - это проблема, в которой задействован агент, который анализирует последовательность немаркированных векторов данных (поток данных) и изучает их представления.

Введение

Неконтролируемое прогрессивное обучение (UPL) - это проблема, в которой задействован агент, который анализирует последовательность немаркированных векторов данных (поток данных) и изучает их представления. Векторы данных связаны с классом, который агент не видит при изучении представлений. В какой-то момент изученные представления агента можно затем использовать для выполнения некоторых автономных задач, которые могут быть в форме неконтролируемых, контролируемых или частично контролируемых. UPL утверждает, что данные передаются агенту в реальном времени, что означает, что он будет постепенно узнавать о большем количестве классов по мере того, как они вводятся с течением времени. UPL потенциально может представлять, как животные осуществляют перцептивное обучение - постепенно узнают об окружающей среде и классифицируют объекты по мере того, как делается больше различий. У людей этот тип обучения в конечном итоге приводит к тому, что классы ассоциируются со словами или другими важными аспектами выживания, такими как награда, вкус и страх. На рисунке ниже представлен каждый этап обучения неконтролируемому представлению:

Как вы можете видеть на изображении, в потоке каждый раз, когда мы получаем другое число (которое не помечено как таковое, поэтому модель получает только информацию об изображении и ничего больше), количество классов увеличивается с течением времени.

Вы можете подумать, что это похоже на другие проблемы, такие как самостоятельное обучение или непрерывное обучение. Smith et. al (2019) подробно объясняет, чем UPL отличается от них.

Архитектура STAM

Smith et al. (2019) предлагают архитектуру для решения проблемы, называемую архитектурой STAM, которая состоит из 4 основных модулей:

Иерархия воспринимающих полей

По сути, это группа уровней, определяемая пользователем / разработчиком, и вместо нейронов или модулей скрытых слоев каждый уровень состоит из модулей STAM - в простейшей форме он функционирует как модуль кластеризации. Он отвечает за определение прототипов, хранящихся в архитектуре.

Онлайн-кластеризация

Он получает результаты модулей STAM в слое L, назовем их заплатками Xm из l (которые использовались для создания прототипов) и объединить их в набор центроидов. Это означает, что все единицы STAM слоя L имеют один и тот же набор центроидов Cl (t).

Обнаружение новинок

Когда входной патч Xm на слое l значительно отличается от всех центроидов на слое L новый центроид создается на множестве C (L) на основе Xm . Это то, что делает архитектуру способной изучать новые классы после того, как они появляются в немаркированном потоке данных.

Организация двойной памяти

Память разделена на краткосрочную память (STM) и долговременную память (LTM). Центроиды временно хранятся (задаются параметром) в STM, который имеет очень небольшую емкость и высокую скорость обучения. Каждый раз, когда центроид выбирается в качестве ближайшего соседа входного патча, его значения обновляются. Если он выбран более X раз, он копируется в LTM, который имеет огромную емкость памяти и небольшую скорость обучения. Эта организация памяти вдохновлена ​​Системой дополнительного обучения.

Эксперименты и результаты

Для оценки авторы создают поток данных, в котором небольшие группы классов появляются в последовательных фазах, которые они называют добавочной UPL. Каждая фаза содержит только два класса, и эти классы появляются только в этой фазе.

Для экспериментов в статье используются два набора задач: один для классификации, а другой для кластеризации по двум базовым методам. Первый - это сверточный энкодер (CAE), а второй - метод самоконтроля, основанный на вращении (RotNet). Используемые наборы данных: MNIST, EMINST и SVHN. Для каждой задачи они усредняют результаты трех испытаний. В каждом испытании 1500 изображений.

Задача классификации

Учитывая несколько помеченных примеров для классов, которые присутствовали в потоке до момента t, алгоритм просится выполнить классификацию объектов на тестовых данных. Эта проблема касается случая расширения, что означает, что на каждом этапе (t) модели необходимо классифицировать все наблюдаемые на данный момент классы.

Каждый рисунок связан с результатами для каждого из различных используемых наборов данных, как вы можете видеть, когда мы добавляем больше примеров (изображений), средняя точность каждой модели снижается, что нормально, поскольку с каждой новой партией примеров в потоке задача становится все труднее по мере увеличения количества классов, но архитектура STAM - это та, которая лучше всего справляется с катастрофическим аспектом забывания проблемы (что означает, что если класс появился в начале потока, архитектура STAM все еще может его классифицировать правильно.

Задача кластеризации

«Учитывая, что у нас одинаковое количество тестовых векторов для каждого класса, мы связываем каждый кластер с наиболее представленным классом в этом кластере. Любые экземпляры другого класса в этом кластере считаются ошибками. Количество кластеров k равно количеству классов, наблюдаемых до этой фазы в немаркированном потоке данных. "

По сути, это означает то же самое, что и классификация всех классов до точки t, используемой в задаче классификации.

Для MNIST STAM по-прежнему работает стабильно лучше, чем два других метода, и его точность остается почти постоянной при переходе от 4 классов к 10 классам. Для СВХН RotNet работает значительно лучше. Наконец, для EMNIST STAM превосходит два метода глубокого обучения без существенной потери точности после первых 10 этапов (20 классов).

Вывод

Таким образом, архитектура STAM имеет следующие характеристики, которые необходимы для решения проблемы UPL: онлайн-обучение, трансферное обучение, устойчивость к катастрофическому забыванию и расширение возможностей обучения. Все это достигается без прямого доступа к предыдущему опыту, поскольку хранятся только изученные прототипы.

Документ: Прогрессивное обучение без учителя и архитектура STAM - Смит, Дж., Баер, С., Кира, З., и Довролис, К. (2019)