«НЛП никогда не останавливается»
16 марта 2020 года NLP Zurich организовало свою первую веб-встречу с Томасом Вольфом из HuggingFace и с участием членов Data Science Milan.
«Введение в передачу обучения и HuggingFace», Томас Вольф, главный научный сотрудник, HuggingFace
Трансферное обучение - это метод, который состоит в обучении модели машинного обучения задаче и использовании полученных в ней знаний для другой другой, но связанной задачи.
Это популярный подход, используемый для обучения глубокому обучению компьютерному зрению и задачам на естественном языке, где используются предварительно обученные модели для экономии времени вычислений, необходимого для разработки нейронных сетей для этих задач.
Обычно при традиционном подходе к обучению с учителем модели машинного обучения обучаются на помеченном наборе данных для одной и той же задачи и области, ожидая, что он будет хорошо работать с невидимыми данными той же задачи и области.
Учитывая данные для некоторой другой задачи или области, требуются снова помеченные данные той же задачи или области, которые можно использовать для обучения новой модели и ожидать, что она будет хорошо работать с этими новыми данными.
Традиционный подход не работает, когда недостаточно данных с маркировкой для задачи или области, которые нам важны для обучения надежной модели. Вы не можете повторно использовать существующую модель для выполнения новой задачи, так как домены различаются.
Идея трансферного обучения состоит в том, чтобы попытаться сохранить знания, полученные при решении исходной задачи, в исходной области и применить их к другой похожей интересующей проблеме, как объяснил Томас, это та же концепция процесса обучения на опыте. Мы можем чему-то научиться и можем использовать эти знания для решения аналогичной задачи.
Итак, почему мы должны использовать трансферное обучение в НЛП?
● Многие задачи НЛП, такие как вопросы и ответы, имеют общие знания о языке (лежащая в основе семантика ...)
● Возможность повторно использовать огромное количество непомеченных текстов из Интернета.
● Отсутствие аннотированных данных.
Трансферное обучение можно рассматривать как результат последних достижений в решении многих задач НЛП. Примером применения является технология Named Entity Recognition, начатая около 15 лет назад.
В повседневном НЛП существует несколько видов трансферного обучения. Последовательное трансферное обучение - это метод, который на сегодняшний день значительно улучшился. Общая практика состоит в том, чтобы предварительно обучить представления на большом массиве текста без меток, используя выбранный метод, а затем адаптировать эти представления к контролируемой целевой задаче с использованием помеченных данных.
Многие успешные в настоящее время подходы к предварительному обучению основаны на языковом моделировании. Преимущества языкового моделирования заключаются в том, что оно снижает потребность в аннотированных данных, а на многих языках доступно достаточно текста для изучения согласованных моделей. Кроме того, языковое моделирование является универсальным и позволяет изучать представления как предложений, так и слов с различными целевыми функциями.
Эмпирически языковое моделирование работает лучше, чем другие задачи предварительного обучения, такие как перевод или автокодирование.
Для адаптации предварительно обученной модели к целевой задаче существует несколько направлений рабочего процесса. Самый простой способ - это удалить заголовок предварительного задания, если он не подходит для целевой задачи. Другой рабочий процесс состоит в том, чтобы сохранить неизменными внутренние компоненты предварительно обученной модели, добавив больше линейных слоев поверх предварительно обученной модели, или использовать выходные данные модели в качестве входных данных для отдельной модели, что часто бывает полезно, когда целевая задача требует взаимодействия, недоступного в предварительно обученном внедрении. Последний вариант - изменить внутреннюю архитектуру предварительно обученной модели, чтобы адаптироваться к другой целевой задаче, например к задаче с несколькими входными последовательностями, чтобы инициализировать как можно больше структурно отличной модели целевой задачи.
Цель обниматься в лицо - демократизировать НЛП, они начинали как компания, занимающаяся разговорным ИИ, и лучший способ достичь этой цели состоял в том, чтобы стимулировать и демократизировать исследовательскую работу в НЛП в целом, разрушая барьеры вокруг рамок путем обмена знаниями. как разработка и инструменты с открытым исходным кодом для трансферного обучения в НЛП. Примеры инструментов с открытым исходным кодом: библиотека Transformers и библиотека Tokenizers. Посмотрите видео.
Ссылки:
Состояние трансфертного обучения в НЛП
Руководства по HuggingFace:
Приступая к работе с трансформаторами
Как тренировать языковую модель
По сценарию Клаудио Дж. Джанкатерино
