Новый набор данных предоставляет эталоны для некоторых из наиболее важных проблем при ответах на длинные вопросы.
Недавно я начал выпускать образовательный информационный бюллетень, посвященный ИИ, на который уже подписано более 80 000 человек. TheSequence - это информационный бюллетень, ориентированный на машинное обучение (то есть без рекламы, новостей и т. Д.), На чтение которого уходит 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Понимание естественного языка (NLU) - одна из областей глубокого обучения, которая получила наибольшее распространение в пространстве глубокого обучения. Хотя первоначальное внедрение диалоговых приложений было замечательным, в следующие несколько лет должны быть предприняты усилия по улучшению этого взаимодействия до такой степени, чтобы ощущаться как человеческие разговоры. В настоящее время большинство диалогов с цифровыми помощниками и чат-ботами основаны на очень коротких, основанных на фактах моделях вопрос-ответ, а не на контекстных длинных беседах, которые преобладают в человеческом общении. Для этого нам нужны диалоговые приложения, чтобы понимать более сложные вопросы и давать более подробные ответы.
Вопрос-ответ (QA) - это область глубокого обучения, ориентированная на построение моделей, которые могут участвовать в диалогах, выходящих за рамки простых фактических вопросов. Теоретически охватывают многие другие области глубокого обучения, такие как поиск информации или извлечение сущностей. Благодаря недавнему прогрессу в области цифровых помощников и чат-ботов, QA в настоящее время находится в авангарде гонки по улучшению диалоговых приложений. В 2019 году Facebook опубликовал Eli5, новый набор данных и образцы, которые попытались решить проблему длительного контроля качества в диалоговых моделях.
ELI5
Текущее поколение диалоговых систем основано на фактических взаимодействиях с ответами на вопросы, которых может хватить на извлекающие и неоднозначные ответы. Длинные разговоры, требующие подробных объяснений, остаются труднодостижимой областью для большинства приложений NLU. Отчасти проблема длинных моделей обеспечения качества состоит в том, что большинство обучающих наборов данных не предназначены для углубленной структуры беседы. Команда Facebook AI Research (FAIR) недавно открыла исходный код «Explain Like I’m Five» (ELI5), большой корпус моделей обеспечения качества, требующих подробных ответов на открытые вопросы.
Построение обучающего набора данных для полных моделей обеспечения качества на порядок сложнее, чем аналогичная задача для традиционных задач NLU. Для начала ответы в наборе данных не должны основываться на коротких ответах и должны охватывать несколько предложений. Кроме того, ответы также представляют собой один из нескольких допустимых способов решения запроса. Еще одна важная цель длинного набора данных для обучения QA - структурировать ответы таким образом, чтобы модель научилась комбинировать информацию из нескольких предложений и разделов. Это контрастирует с традиционными наборами обучающих данных NLU, в которых человеческий ответ на заданный вопрос может быть найден с помощью методов лексического перекрытия.
Текущие проблемы контроля качества
· В: Какой ближайший ресторан?
· В: Какое озеро самое большое в мире?
· В: Сколько сейчас времени в Токио?
Подробные задачи контроля качества
· В: Почему одни рестораны лучше других, если в них подают в основном одну и ту же еду?
· В: В чем разница между водоемами, такими как озера, реки и моря?
· В: Почему мы чувствуем себя более сбитыми с толку, путешествуя на восток?
В ELI5 модели контроля качества имитируют то, что делают многие люди, когда им задают вопрос: если они не знают ответа, они, скорее всего, будут искать в Интернете информацию по теме, читать некоторые результаты, а затем предоставлять ответ. ELI5 сочетает в себе задачи синтеза информации из нескольких источников, ответов на вопросы и генерации текста в реальную задачу, что делает ее более реалистичной и сложной задачей, чем предыдущие наборы данных по обеспечению качества.
В наших обычных разговорах иногда мы предлагаем ответ из учебника на заданный вопрос, а в другой раз мы пытаемся переосмыслить наши объяснения в контексте диалога. Текущая версия ELI5 позволяет использовать два типа разговорных моделей для расширенного контроля качества:
· Извлекающие модели: модели этого типа дают ответы, дословно копируемые из подтверждающих документов.
· Абстрактивные модели: модели этого типа перезаписывают информацию из основных документов, чтобы лучше адаптироваться к разговору.
Добывающие модели: BidAF
Текущая версия Eli5 использовалась для обучения обобщенной версии двунаправленного потока внимания (BidAF), который считается одной из самых продвинутых машинных моделей понимания. Однако предыдущие версии BidAF были обучены извлекать отдельные ответы из входного текста. Команда FAIR подготовила версию, которая может выбирать несколько предложений для генерации ответа.
Обучение BidAF состоит из извлекающего обучающего набора с диапазоном до 5 смежных предложений в вспомогательном документе, которые имеют наивысшую корреляцию по отношению к контрольному ответу, и подвыборки других предложений вспомогательного документа, чтобы окончательный обучающий документ был короче. чем 400 слов. На этом этапе модель BidAF обучается предсказывать извлеченный диапазон в вспомогательном документе с частичной выборкой на основе вопроса.
Абстрактивные модели: Seq2seq
Чтобы продемонстрировать абстрактные модели, Eli5 позволяет использовать метод «последовательность-последовательность» (seq2seq) для абстрактного моделирования, чтобы синтезировать информацию из различных веб-источников для написания ответа длиной в абзац.
В отличие от традиционных моделей seq2seq обучается только предсказанию ответа, версия Eli5 обучается предсказывать вопрос, веб-источник и ответ. Это достигается созданием многозадачной версии модели Seq2Seq. Во время обучения модель выполняет несколько задач между различными задачами генерации, такими как вопрос, вспомогательный документ и ответ (Q + D + A). Полученная модель превосходит как стандартное моделирование, так и традиционные методы seq2seq.
Команда FAIR оценила как экстрактивные, так и абстрактные модели в сравнении с современными методами NLU, а также с пулом краудворкеров. Приведенные ниже результаты показывают, что как экстракционная, так и многозадачная модели работают сравнимо с человеческими, а в некоторых случаях превосходят их.
Выпуск Eli5 должен открыть дверь для более продвинутых исследований в длинных моделях обеспечения качества. Включение как экстрактивных, так и абстрактных моделей обеспечивает хорошую комбинацию для имитации длинных, человеческих преобразований в системах ИИ. Eli5, безусловно, следует рассматривать как один из основных наборов данных для проверки следующего поколения цифровых помощников и чат-ботов на рынке.
