«Языковая модель — это все, что вам нужно» от Amazon Alexa AI исследует NLU как QA
В документе Amazon Alexa AI задается вопрос, можно ли сопоставить проблемы NLU с проблемами ответа на вопросы (QA) с помощью трансферного обучения.
Новое исследование Amazon Alexa AI утверждает, что современные подходы к пониманию естественного языка (NLU) далеки от того, как люди понимают язык, и задается вопросом, можно ли эффективно и действенно сопоставить все проблемы NLU с проблемами ответа на вопрос (QA) с использованием трансферного обучения.
Трансферное обучение — это подход машинного обучения для применения знаний, полученных из исходной области, в целевую область. Он дал многообещающие результаты в обработке естественного языка (NLP), особенно при переносе обучения из доменов с высокими данными в домены с низкими данными. Исследователи Amazon сосредоточились на конкретном типе трансферного обучения, когда целевой домен сначала сопоставляется с исходным доменом.
**** Абстрактный
Различные разновидности трансферного обучения оказали огромное влияние на продвижение исследований и приложений машинного обучения. В этой работе мы изучаем использование определенного семейства трансферного обучения, где целевой домен сопоставляется с исходным доменом. В частности, мы сопоставляем проблемы понимания естественного языка (NLU) с проблемами ответов на вопросы (QA) и показываем, что в режимах с низким объемом данных этот подход предлагает значительные улучшения по сравнению с другими подходами к NLU. Более того, мы показываем, что эти выгоды можно увеличить за счет последовательного переноса обучения для задач NLU из разных областей. Мы показываем, что наш подход может уменьшить количество необходимых данных для той же производительности до 10 раз. Ключевые слова — трансферное обучение, ответы на вопросы, понимание естественного языка.
NLU рассматривается как определяющее намерение и значение слота или сущности в высказываниях на естественном языке. Предлагаемый подход «QANLU» строит вопросы и ответы для обнаружения слотов и намерений на основе аннотированных данных NLU. Модели QA сначала обучаются на корпусах QA, а затем настраиваются на вопросы и ответы, созданные на основе аннотированных данных NLU. Благодаря трансферному обучению это контекстуальное знание ответов на вопросы затем используется для поиска намерений или значений слотов во входных текстовых данных.
В отличие от предыдущих подходов, QANLU фокусируется на приложениях с низким уровнем ресурсов и не требует разработки и обучения новой архитектуры модели или обширной предварительной обработки данных. Это позволяет ему достигать хороших результатов в обнаружении слотов и намерений с на порядок меньшим количеством данных.
Исследователи провели эксперименты с наборами данных ATIS и Restaurants-8k, при этом QANLU в режимах с низким объемом данных и в настройках с несколькими выстрелами значительно превосходит методы классификации предложений и маркировки токенов для задач обнаружения намерений и слотов, а также улучшает новый IC/SF. производительность подхода в NLU.
Исследователи говорят, что будущие направления могут включать в себя выход за пределы этой конфигурации и охват различных проблем НЛП, измерение передачи знаний между различными задачами НЛП и изучение того, как вопросы QANLU могут генерироваться автоматически в зависимости от контекста.
*******************************************************************
Скачать статью здесь: https://arxiv.org/pdf/2011.03023.pdf
*******************************************************************
………………………………Конец…………………………………………………
