ДАНН, это хорошо.
Эта статья Ганина и др., 2016 г. представил новую технику неконтролируемой адаптации домена.
Необходимые знания: Адаптация предметной области, Репрезентативное обучение
- Почему? Часто у нас недостаточно размеченных данных для обучения модели глубокого обучения решению проблемы, но мы можем использовать адаптацию предметной области для адаптации модели из другой, но связанной задачи (т. е. существует shift между распределением обучающих и тестовых данных).
- Что? В этом документе представлена предметно-состязательная нейронная сеть (DANN), метод, сочетающий в себе репрезентативное обучение (т. е. глубокое изучение функций) и неконтролируемая адаптация к предметной области в процессе непрерывного обучения. Учитывая помеченные образцы из исходного распределения и немаркированные образцы (т. Е. Неконтролируемые) из целевого распределения, цель - разработать модель с функциями для решения задачи как для исходного, так и для целевого доменов.
- Как? DANN совместно оптимизирует три процесса обучения: 1. минимизация потерь классификатора меток, 2. максимизация потеря классификатора предметной области и 3. оптимизация базового экстрактора признаков (т. е. всех глубоких слоев вплоть до полностью связанных слоев) на основе двух вышеупомянутых потерь. Помеченные входные данные из исходного домена участвуют в процессах 1 и 2 (и 3), а входные данные из целевого домена (которые могут быть unlabelled) участвуют в процессе 2 (и 3).
Вам также может понравиться:
or
