- Обучение выборочному увеличению данных для генерации диалогов (arXiv)
Автор: Сюин Чен, Минчжэ Ли, Цзяи Чжан, Сяоцян Ся, Чэнь Вэй, Цзяньвэй Цуй, Синь Гао, Сянлян Чжан, Жуй Янь.
Аннотация: Поскольку сбор огромного количества данных для обучения моделей нейронных диалогов является обременительным и дорогостоящим, предлагается увеличение данных для эффективного использования существующих обучающих выборок. Однако современные методы увеличения данных в задаче генерации диалогов в основном увеличивают все случаи в наборе обучающих данных без учета внутренних атрибутов между различными случаями. Мы утверждаем, что не все кейсы полезны для аугментационной задачи, а кейсы, подходящие для аугментации, должны соответствовать следующим двум атрибутам: (1) низкое качество (модель диалога не может генерировать качественный ответ для кейса), (2) представитель (кейс должен представлять свойство всего набора данных). Здесь мы исследуем эту идею, предлагая структуру выборочного увеличения данных (SDA) для задачи генерации ответа. SDA использует двойную состязательную сеть для выбора самых некачественных и наиболее репрезентативных точек данных для увеличения за один этап. Обширные эксперименты, проведенные с двумя общедоступными наборами данных, т. е. DailyDialog и OpenSubtitles, показывают, что наша структура может улучшить производительность генерации ответов по отношению к различным показателям.
2.X-ReCoSa: многомасштабное агрегирование контекста для генерации многооборотных диалогов (arXiv)
Автор: Даньцинь Ву
Аннотация: при генерации многооборотных диалогов ответы связаны не только с темой и предысторией контекста, но также со словами и фразами в предложениях контекста. Однако широко используемые в настоящее время иерархические модели диалогов полагаются исключительно на контекстные представления кодировщика на уровне высказывания, игнорируя представления предложений, выдаваемые кодировщиком на уровне слов. Это неизбежно приводит к потере информации при декодировании и генерации. В этой статье мы предлагаем новую диалоговую модель X-ReCoSa для решения этой проблемы, которая объединяет многомасштабную контекстную информацию для иерархических моделей диалогов. В частности, мы разделяем декодер генерации на верхнюю и нижнюю части, а именно часть намерения и часть генерации. Во-первых, часть намерения принимает представления контекста в качестве входных данных для генерации намерения ответа. Затем часть генерации генерирует слова в зависимости от представлений предложений. Таким образом, иерархическая информация была объединена в генерацию ответа. мы проводим эксперименты на английском наборе данных DailyDialog. Экспериментальные результаты показывают, что наш метод превосходит базовые модели как при автоматической оценке на основе метрик, так и при оценке человеком.
