Учиться усваивать знания
Выбор DataSeries:
- CACTU поддерживает различное пространство для встраиванияce, если это хороший уровень представления.
- Обучение правилам обучения без присмотра предназначено для обновления правила на основе нейронной локацииl, чтобы оно могло обновлять различную ширину слоя, глубину сети, функцию активации.
В предыдущих историях мы проходили разные приложения для изучения мяса. Все они относятся к проблеме обучения с учителем, а в следующих двух статьях ICLR 2019 изучается, как применять обучение без учителя в подходе метаобучения.
Одна из причин, по которой авторы всегда хотят оценивать обучение без учителя, — это размер данных. Размер данных с маркировкой очень дорог, в то время как мы можем легко получить неограниченное количество немаркированных данных. В процессе естественного языка (NLP) набор данных Википедии и набор данных Reddit используются для обучения слоев встраивания для последующих задач.
Изучение правил обучения без присмотра
Мец и др. предложил использовать подход метаобучения для решения проблемы неконтролируемого представления, где внутренний цикл состоит из неконтролируемого обучения. Насколько им известно, они являются первой группой авторов, сделавших это.
Как и в других подходах к метаобучению, есть два цикла: внутренний цикл оптимизирует процесс, а внешний цикл оптимизирует процесс внутреннего цикла. Вместо использования обучения с учителем (например, N-кратная классификация K-way) во внутреннем цикле они предложили использовать в качестве альтернативы подход к обучению без учителя.
В стандартном дизайне контролируемого обучения вес будет обновляться вперед и назад с помощью функции контролируемого обучения. Мец и др. следуйте стандартному подходу при пересылке обновлений, в то время как обратное обновление распространяется путем неконтролируемого обучения.
На приведенном ниже рисунке показан вышеупомянутый процесс обновления. MLP (то есть выходные значения модели обучения внутреннего цикла и непосредственное обновление веса.
Кластеризация для автоматического создания задач для неконтролируемого метаобучения
Хсу и др. предложил применять метаобучение в неконтролируемом обучении, чтобы изучить хорошее представление функций для последующих задач. Предлагаемый метод вызывает кластеризацию для автоматического создания задач для неконтролируемого метаобучения (CACTU).
Конфигурация модели
Идея состоит в том, чтобы использовать алгоритм кластеризации для создания задач для метеобучения. Используя метод кластеризации, ему нужны любые данные маркировки, чтобы он мог использовать огромные немаркированные данные для метаобучения. Процедура такова:
- Изучите функцию встраивания
- Примените функцию встраивания, чтобы преобразовать входные данные во вложения.
- Запустите кластеризацию P раз.
- Результат кластеризации выборки на шаге 3 и выбор N выборок из каждой кластеризации
- Выполнение задач метаобучения
Обсуждение
Вы можете сомневаться, что успех этой архитектуры может быть вызван другими факторами, такими как успех функции встраивания, а не метаобучение. Хсу и др. провел несколько экспериментов, чтобы продемонстрировать, что CACTU превосходит другие методы.
- Преимущество метаобучения: сравнение CACTU с другими методами с использованием той же функции встраивания, и результат CACTU лучше, чем у других
- Независимо от встраивания: продемонстрировано использование нескольких функций встраивания для обучения. Может переключаться на функцию пользовательских вложений для конкретных задач.
Забрать
- CACTU поддерживает различное пространство для встраиванияce, если это хороший уровень представления.
- Обучение правилам обучения без присмотра предназначено для обновления правила на основе нейронной локацииl, чтобы оно могло обновлять различную ширину слоя, глубину сети, функцию активации.
Расширение Чтение
Ссылка
- К. Хсу, С. Левин и К. Финн. Обучение без учителя через метаобучение. 2018.
- Л. Мец, Н. Махесваранатан, Б. Чунг и Дж. Золь-Дикштейн. Правила обновления метаобучения для неконтролируемого обучения представлению. 2018