Передача обучения

Трансферное обучение — это процесс использования навыков и знаний, полученных в одной ситуации, для решения другой связанной проблемы.

Введение

Эта концепция обычно изучается в области машинного обучения, где она используется для обозначения практики хранения знаний, полученных в результате решения одной проблемы, и применения их к другой, связанной проблеме. Трансферное обучение часто рассматривается как методология проектирования, поскольку оно включает применение ранее изученной информации к новым ситуациям с целью повышения эффективности и действенности процесса обучения. Другими словами, трансферное обучение позволяет отдельным лицам или алгоритмам машинного обучения опираться на имеющиеся у них знания и навыки для решения новых задач.

Трансферное обучение предполагает использование знаний и навыков, приобретенных в одном контексте, и их применение в другой, но связанной ситуации. Например, если вы научились распознавать автомобили, эти знания могут пригодиться при обучении распознаванию грузовиков. Точно так же, если вы научились ездить на мотоцикле, эти знания можно перенести на обучение езде на электронном скутере. Трансферное обучение также может включать применение знаний и навыков из одной области в другую, например, использование математических и статистических знаний для изучения глубокого обучения.

На рисунке ниже слева изображен классический процесс обучения, а справа — модель обучения, которая была обучена для задачи А и способна передавать свои знания для улучшения процесса обучения для задачи Б, даже если для задачи B доступен лишь небольшой объем данных.

Возьмем, к примеру, задачу классификации собак и львов с ограниченным количеством примеров. Если мы создадим отличную модель, которая знает, как классифицировать собак и кошек, мы сможем использовать ее в качестве основы для нашей новой задачи.

Он передает и использует знания, полученные в прошлом!

Преимущества

В контексте машинного обучения трансферное обучение может включать три основных элемента: начальный навык исходной модели, скорость улучшения во время обучения и конвергентный навык обученной модели.

1. Исходный навык исходной модели относится к уровню квалификации или опыта, которыми обладает модель до дальнейшего обучения или усовершенствования. Повышая начальный навык исходной модели, модель может начать с более высокого уровня производительности, что может облегчить изучение новых задач и достижение лучших результатов.

2. Скорость улучшения во время обучения относится к скорости, с которой модель улучшает свои навыки с течением времени. Если исходная модель сможет быстрее улучшить свой навык во время обучения, она сможет более эффективно и результативно осваивать новые задачи.

3. Наконец, конвергентный навык обученной модели относится к уровню квалификации или опыта, которым обладает модель после того, как она достигла стабильного состояния обучения. Если обученная модель работает лучше после достижения стабильного состояния обучения, она сможет выполнять новые задачи более эффективно и с большей точностью. В целом, сосредоточив внимание на этих трех элементах трансферного обучения, можно повысить эффективность и действенность алгоритмов машинного обучения и добиться лучших результатов.

Когда использовать трансферное обучение

Есть несколько сценариев, в которых трансферное обучение может быть особенно полезным:

Если уже существует предварительно обученная модель, основанная на аналогичной задаче и обученная на большом количестве данных, можно использовать эту модель в качестве отправной точки для новой задачи. . Начав с модели, которая уже усвоила некоторые важные знания, можно быстрее и эффективнее изучить новую задачу. Использование существующих обученных моделей в наборе данных, таком как ImageNet, может стать хорошей отправной точкой.
Если недостаточно данных для обучения модели с нуля, можно использовать трансферное обучение, чтобы использовать знания и навыки, полученные предварительно обученной моделью, для повышения производительности новой модели. Это может быть особенно полезно при работе с задачами, требующими большого объема данных для эффективного обучения, поскольку позволяет новой модели опираться на знания и навыки, полученные предварительно обученной моделью. Упомянутая ранее задача классификации ограниченного количества данных (собаки/львы) — лишь один пример, который можно решить с помощью этого подхода.

Разрушение мифа: «глубокое обучение невозможно, если у вас нет миллиона помеченных примеров для вашей задачи». Трансферное обучение может быть полезным методом для уменьшения объема помеченных данных, необходимых для конкретной задачи.

Общая практика

Разработайте модельный подход

Выберите исходную задачу. Первым шагом в трансферном обучении является выбор исходной задачи, связанной с интересующей задачей и имеющей большой объем доступных данных. Важно обеспечить некоторую взаимосвязь между входными и выходными данными в исходной задаче и интересующей задаче, чтобы сделать передачу знаний и навыков более эффективной.
Разработка исходной модели. Следующим шагом является разработка искусной модели для исходной задачи. Важно убедиться, что модель не является наивной, так как это гарантирует, что модель изучила некоторые важные функции, которые можно перенести на новую задачу.
Повторное использование модели. После разработки исходной модели ее можно использовать в качестве отправной точки для модели новой интересующей задачи. Это позволяет новой модели основываться на знаниях и навыках, полученных в исходной модели, что может повысить эффективность и результативность процесса обучения.
Настроить модель (необязательно). В некоторых случаях может потребоваться адаптировать или уточнить модель, чтобы лучше соответствовать данным, доступным для новой задачи. Это может включать настройку параметров модели или добавление дополнительных слоев в модель. В целом, следуя этим шагам, можно эффективно внедрить трансферное обучение и добиться улучшенных результатов в задачах машинного обучения.

Подход с предварительно обученной моделью

Выберите исходную модель. Первым шагом в этом процессе является выбор предварительно обученной исходной модели, связанной с интересующей вас новой задачей. Существует множество предварительно обученных моделей, которые можно использовать для трансферного обучения, поэтому важно выбрать модель, которая хорошо подходит для поставленной задачи.
Повторное использование модели: то же самое, что и при разработке модели.
Настройка модели (необязательно): то же самое, что и при разработке модели.

Предварительно обученные модели часто используются в следующих случаях:

Автономный экстрактор признаков. Предварительно обученные модели можно использовать в качестве автономных экстракторов признаков, что означает, что их можно использовать для предварительной обработки изображений и извлечения соответствующих признаков, которые можно использовать в качестве входных данных для другой модели. Этот подход позволяет предварительно обученной модели служить «экспертом» в определении важных функций в данных, что может улучшить производительность последующей модели.
Встроенный экстрактор признаков. Предварительно обученные модели также можно интегрировать в новые модели в качестве средств извлечения признаков, при этом слои предварительно обученной модели «замораживаются» во время обучения. Это означает, что веса предварительно обученной модели не обновляются во время обучения, и модель используется только для извлечения признаков из данных.
Инициализация весов. Предварительно обученные модели также можно интегрировать в новые модели в качестве средства инициализации весов новой модели. В этом случае слои предварительно обученной модели обучаются совместно с новой моделью, что позволяет новой модели опираться на знания и навыки, полученные предварительно обученной моделью.

В целом, предварительно обученные модели могут быть ценным ресурсом в машинном обучении, поскольку они позволяют моделям опираться на знания и навыки, полученные другими моделями, и повышать их производительность при выполнении новых задач.

Краткое содержание

Трансферное обучение — это метод машинного обучения, который позволяет моделям использовать имеющиеся у них знания и навыки для решения новых задач. Он включает в себя перенос знаний из одного контекста или области в другой. В области машинного обучения трансферное обучение включает в себя улучшение исходного навыка исходной модели, скорости улучшения во время обучения и конвергентного навыка обученной модели. Трансферное обучение полезно в сценариях, когда недостаточно данных для обучения сети с нуля, уже существует предварительно обученная сеть, основанная на аналогичной задаче, или при работе с задачами, требующими большого объема данных. Это может повысить эффективность и результативность алгоритмов машинного обучения и позволить использовать прошлые знания для более быстрого и эффективного изучения новых вещей.

об авторе

Барак Ор — предприниматель, эксперт по искусственному интеллекту и навигации; Бывший Qualcomm. Барак имеет степень магистра наук. и бакалавр наук. в инженерии и B.A. по экономике Техниона. Лауреат премии Gemunder. Барак защитил докторскую диссертацию. в области AI и Sensor Fusion. Автор ряда статей и патентов. Он является основателем и генеральным директором ALMA Tech. LTD, компания, занимающаяся искусственным интеллектом и передовой навигацией.

Дополнительные ресурсы:

[1] Нежное введение в трансферное обучение для глубокого обучения Джейсона Браунли: Ссылка

[2] Перенос обучения и тонкой настройки командой TensorFlow: Ссылка

[3] Учебное пособие NIPS 2016: Основы создания приложений ИИ с использованием глубокого обучения Эндрю Нг. "Связь"

[4] Подробное практическое руководство по переносу обучения с использованием реальных приложений в глубоком обучении, автор Дипанджан Саркар. "Связь"

[5] Окуаб, М., Ботту, Л., Лаптев, И., и Сивич, Дж. (2014). Изучение и передача представлений изображений среднего уровня с использованием сверточных нейронных сетей. В Материалы конференции IEEE по компьютерному зрению и распознаванию образов (стр. 1717–1724).

[6] Розанцев А., Зальцманн М. и Фуа П. (2018). Помимо совместного использования весов для глубокой адаптации предметной области. Транзакции IEEE по анализу шаблонов и машинному интеллекту.