Hi,
«Базовое описание передачи обучения от новичка к новичку»
Прежде чем приступить к описанию трансферного обучения, важны некоторые предыстории.
Ежегодно проводится конкурс ILSVRC, например ImageNet Large Scale Visual Recognition Challenge (ILSVRC).
Задача оценивает алгоритмы обнаружения объектов и классификации изображений в крупном масштабе. Одна из важных мотиваций - позволить исследователям сравнивать прогресс в обнаружении более широкого спектра объектов, используя в своих интересах довольно дорогостоящие усилия по маркировке. Еще одна мотивация - измерить прогресс компьютерного зрения для индексирования крупномасштабных изображений для поиска и аннотации.
Итак, многие организации и исследователи разрабатывают алгоритм для таких огромных наборов данных. Вот некоторые из этих алгоритмов - Alex Net, ZF Net, VGG Net, Google Net, Res Net, CU I mage, SE Net.
Лучший алгоритм конкретного года побеждает в испытании, что измеряется коэффициентом ошибок топ-5 и количеством ошибок топ-3.
вверх - 5 'частота ошибок - это доля тестовых изображений, для которых правильный ярлык входит в эту первую пятерку , а коэффициент ошибок 'top -1' - это доля тестовых изображений, для которых правильная метка является наиболее вероятной по модели.
Таким образом, с такими эффективными алгоритмами разработаны. Нам нужно применить этот алгоритм к нашему набору данных. Затем идет концепция трансферного обучения.
Трансферное обучение - это метод, который позволяет нам использовать знания, полученные из других задач и моделей, для быстрого и эффективного решения новых, но похожих проблем. Это снижает потребность в данных, связанных с конкретной задачей, с которой мы сталкиваемся. .
Короче говоря, трансферное обучение - это когда модель, разработанная для одной задачи, повторно используется для работы над второй задачей. Это самый популярный подход в глубоком обучении. В этом случае мы используем предварительно обученные модели в качестве отправной точки для компьютерного зрения. Кроме того, задачи обработки естественного языка с учетом огромных вычислительных и временных ресурсов. Хотя нам нужно разрабатывать модели нейронных сетей.
Некоторые шаги по переносу опоры на CNN:
- Обучите ImageNet
- Если у вас небольшой набор данных, исправьте все веса (рассматривайте CNN как средство извлечения фиксированных признаков), переобучите только классификатор.
- Если набор данных среднего размера, «точная настройка» использует старые веса в качестве инициализации, обучите всю сеть или некоторые из более высоких уровней.
Полезное правило:
- Используйте только 1/10 исходной скорости обучения в верхнем слое точной настройки.
- 1/100 от исходной скорости обучения на промежуточном уровне.
Точная настройка - это один из подходов к переносному обучению. При точной настройке сеть обычно обучается с нуля.
По поводу кодирования и других деталей скоро опубликую статью.
