Учиться усваивать знания

Выбор DataSeries:

  • CACTU поддерживает различное пространство для встраиванияce, если это хороший уровень представления.
  • Обучение правилам обучения без присмотра предназначено для обновления правила на основе нейронной локацииl, чтобы оно могло обновлять различную ширину слоя, глубину сети, функцию активации.

В предыдущих историях мы проходили разные приложения для изучения мяса. Все они относятся к проблеме обучения с учителем, а в следующих двух статьях ICLR 2019 изучается, как применять обучение без учителя в подходе метаобучения.

Одна из причин, по которой авторы всегда хотят оценивать обучение без учителя, — это размер данных. Размер данных с маркировкой очень дорог, в то время как мы можем легко получить неограниченное количество немаркированных данных. В процессе естественного языка (NLP) набор данных Википедии и набор данных Reddit используются для обучения слоев встраивания для последующих задач.

Изучение правил обучения без присмотра

Мец и др. предложил использовать подход метаобучения для решения проблемы неконтролируемого представления, где внутренний цикл состоит из неконтролируемого обучения. Насколько им известно, они являются первой группой авторов, сделавших это.

Как и в других подходах к метаобучению, есть два цикла: внутренний цикл оптимизирует процесс, а внешний цикл оптимизирует процесс внутреннего цикла. Вместо использования обучения с учителем (например, N-кратная классификация K-way) во внутреннем цикле они предложили использовать в качестве альтернативы подход к обучению без учителя.

В стандартном дизайне контролируемого обучения вес будет обновляться вперед и назад с помощью функции контролируемого обучения. Мец и др. следуйте стандартному подходу при пересылке обновлений, в то время как обратное обновление распространяется путем неконтролируемого обучения.

На приведенном ниже рисунке показан вышеупомянутый процесс обновления. MLP (то есть выходные значения модели обучения внутреннего цикла и непосредственное обновление веса.

Кластеризация для автоматического создания задач для неконтролируемого метаобучения

Хсу и др. предложил применять метаобучение в неконтролируемом обучении, чтобы изучить хорошее представление функций для последующих задач. Предлагаемый метод вызывает кластеризацию для автоматического создания задач для неконтролируемого метаобучения (CACTU).

Конфигурация модели

Идея состоит в том, чтобы использовать алгоритм кластеризации для создания задач для метеобучения. Используя метод кластеризации, ему нужны любые данные маркировки, чтобы он мог использовать огромные немаркированные данные для метаобучения. Процедура такова:

  1. Изучите функцию встраивания
  2. Примените функцию встраивания, чтобы преобразовать входные данные во вложения.
  3. Запустите кластеризацию P раз.
  4. Результат кластеризации выборки на шаге 3 и выбор N выборок из каждой кластеризации
  5. Выполнение задач метаобучения

Обсуждение

Вы можете сомневаться, что успех этой архитектуры может быть вызван другими факторами, такими как успех функции встраивания, а не метаобучение. Хсу и др. провел несколько экспериментов, чтобы продемонстрировать, что CACTU превосходит другие методы.

  • Преимущество метаобучения: сравнение CACTU с другими методами с использованием той же функции встраивания, и результат CACTU лучше, чем у других
  • Независимо от встраивания: продемонстрировано использование нескольких функций встраивания для обучения. Может переключаться на функцию пользовательских вложений для конкретных задач.

Забрать

  • CACTU поддерживает различное пространство для встраиванияce, если это хороший уровень представления.
  • Обучение правилам обучения без присмотра предназначено для обновления правила на основе нейронной локацииl, чтобы оно могло обновлять различную ширину слоя, глубину сети, функцию активации.

Расширение Чтение

Ссылка