SiATL - это новейший, новейший и простейший подход к переносному обучению
Это резюме исследования - лишь одно из многих, которые еженедельно распространяются в информационном бюллетене для ученых в области ИИ. Чтобы начать получать еженедельную рассылку, подпишитесь здесь.
Многие традиционные методы трансферного обучения используют предварительно обученные языковые модели (LM), которые стали очень популярными и могут похвастаться способностью переводить контекстную информацию, высокоуровневым синтаксисом моделирования и функциями языка семантики, генерирующими высококачественные результаты во многих задачах, таких как распознавание объектов. , машинный перевод, классификация текста и многое другое.
Однако существующие LM имеют недостатки, в том числе высокие вычислительные затраты и потребность в архитектурах, ориентированных на конкретные задачи. Кроме того, для большинства из них требуется предварительная подготовка и точная настройка выполняемой задачи. Что ж, теперь это другая история, поскольку исследователи недавно выпустили новый метод обучения с пошаговым переносом, который не требует предварительной подготовки или тонкой настройки. Кроме того, новый метод превосходит современные подходы к обучению с передачей, включая ULMFiT, во всех задачах.
Одношаговое вспомогательное обучение переносу потерь (SiATL)
SiATL - это простой, но эффективный метод обучения передачи, который решает проблему катастрофического забывания. SiATL сочетает в себе специфичную для задачи функцию с дополнительными потерями LM, которые корректируются в процессе обучения и основаны на предварительном обучении LM и переназначении его весов классификатору. Это позволяет ему сохранять языковые закономерности, зафиксированные языковыми моделями, в то же время облегчая достаточную адаптацию для решения задач.
Как упоминалось во введении, SiATL не требует предварительного обучения или тонкой настройки, что делает его невероятно простым в использовании. Новая модель уже была протестирована на множестве сложных задач классификации текстов и дала конкурентные результаты, свидетельствующие о ее превосходстве над традиционными методами трансферного обучения.
Возможное использование и эффекты
Как вы уже знаете, обучение модели не обязательно должно начинаться с нуля и не должно быть безумным. SiATL можно использовать для использования модели, обученной для одной задачи, и прямого применения ее к другой области. Это также может пригодиться в ситуациях нехватки данных.
Для специалистов по обработке данных и разработчиков SiATL предлагает простой, дешевый и практичный подход для ускорения обучения моделей с возможностями передачи обучения для достижения повышенной производительности для широкого спектра приложений, таких как распознавание речи, интеллектуальная видеоаналитика, системы ответов на вопросы, медицинская визуализация и т. Д. более.
Спасибо за чтение. Прокомментируйте, поделитесь и не забудьте подписаться! Также подписывайтесь на меня в Twitter и LinkedIn. Ваше здоровье!
