Исчерпывающий обзор знаменитой исследовательской работы по НЛП

Источник: https://www.aclweb.org/anthology/C18-1152.pdf (Ettinger et al., 2018)

Предыстория. Чтобы понять, что такое встраивание предложений, необходимо понимать вложения слов. Вложения слов стали очень известными из-за их способности представлять слово в виде вектора, который можно использовать повсеместно. Известные вложения включают word2vec, Glove и т. Д.
Ту же концепцию встраивания слов можно распространить на предложения, так что каждое предложение представлено вектором. Такие задачи, как «определение того, являются ли два вопроса о переполнении стека дубликатами или нет» создают необходимость в использовании встраивания предложений.

Введение. Чтобы понимать язык, важно понимать значение и состав предложения. Большинство современных моделей нейронных сетей по своей природе являются черным ящиком. Следовательно, трудно понять, какие вложения предложений захватывают в рамках своего обучения, которое в конечном итоге их генерирует.

В документе обсуждаются конкретные задачи, разработанные исключительно для проверки того, отражают ли вложения предложений состав и значение предложения. Настоящая статья основана на другой статье (Adi et. Al, 2016), в которой авторы (Adi et. Al, 2016) проводят аналогичные эксперименты с моделью BOW и автокодировщиком. Однако их результаты весьма сомнительны из-за непреднамеренной систематической ошибки в наборе данных. Например, они показывают, что в задачах порядка слов модель BOW достигает производительности 70%, даже когда для такой модели логически невозможно сохранить информацию, относящуюся к порядку слов. Итак, авторы данной статьи считают, что такая производительность модели BOW была случайным событием из-за систематической ошибки, присутствующей в наборе данных.

В текущем документе предлагается устранить / уменьшить такую ​​предвзятость и протестировать другие модели глубокого обучения. Они также вводят дополнительные задачи, которые подробно обсуждаются ниже. Вклад в документ включает набор генерации предложений, проверенную модель для проверки того, действительно ли состав и смысл встроены в вложения, система генерации и наборы данных, используемые для классификации, предоставляются в качестве открытого исходного кода для других для дальнейшего изучения. и анализ.

Вопросы исследования. В статье рассматриваются следующие вопросы исследования:

1. Насколько хорошо нынешние нейронные модули встраивания предложений улавливают смысл и состав предложения в своих встраиваниях предложений?

2. Можем ли мы предложить метод и структуру для оценки вложений предложений и их моделей с точки зрения того, насколько хорошо они отражают смысл и состав предложения?

Значение и состав. Элементы, составляющие предложение, передают смысл читателю. Обычно он содержит агента, пациента и событие. Композиция - это способ расположения элементов, который помогает передать смысл. Чтобы понять его значение, можно комбинировать разные части предложения.

Подготовка набора данных: авторы предлагают новую систему генерации предложений, которая снижает систематическую ошибку в наборе данных. Например, он генерирует разнообразные и полностью аннотированные предложения в соответствии с синтаксическими, семантическими и лексическими правилами английского языка. Он состоит из трех частей.

Представления событий / предложений: это частичные представления предложения, которые принимают такие аргументы, как агент, пациент, переходные, непереходные глаголы и наличие или отсутствие относительного придаточного предложения. Эти представления предоставляются в качестве входных данных для системы генерации событий. Например, рассмотрите предложение, показанное ниже.

Составление события: система принимает входные данные от системы представления предложений и заполняет событие данной информацией. В его словаре используются наречия и 17 слов. Количество слов ограничено, чтобы сохранить контроль над сгенерированными предложениями. Он перебирает наречия и существительные, чтобы составить предложения.

Синтаксические реализации: он использует основанную на правилах технику для преобразования слов в сгенерированное предложение в соответствии с морфологией. Они используют структуру NLTK, как упомянуто в (Bird et al., 2009), а перегибы извлекаются из базы данных морфологии XTAG (Doran et al., 1994).

Задачи классификации. Различные задачи предназначены для проверки того, сохраняют ли вложения предложений состав и значение предложения. В целом их можно разделить на два типа: Семроль и Отрицание. Задача SemRole предназначена для проверки того, улавливают ли вложения предложений смысл. Вопрос, на который необходимо ответить, заключается в том, что, учитывая существительное (n), глагол (v) и вложение (s) предложения, является ли n агентом v в s?

Задача отрицания - это проверка того, улавливают ли вложения предложений отрицание глагола или нет. То есть, учитывая глагол (v) и вложение (s) предложения, отменяется ли v в s или нет? В сгенерированных предложениях между глаголом и отрицанием вставлены наречия, поэтому не очевидно, что глагол идет после отрицания, и этот образец модели легко выучить и распознать.

Три других задачи связаны с содержанием и порядком слов. Первая задача, Content1Probe, создана для проверки того, содержат ли вложения предложений глагол, если глагол присутствует во входном предложении. Content2Probe похож на Content1Probe и проверяет, содержат ли вложения предложений как существительное, так и глагол, поскольку оба они представлены в качестве входных данных до генерации встраиваемых предложений.

Задача Порядок предназначена для проверки того, захватывают ли полученные вложения предложений информацию о порядке слов в предложении. Встречается ли существительное (n) перед глаголом (v), учитывая вложение (s) предложения, которое содержит как глагол (v), так и существительное (n).

Эксперименты по классификации. Авторы создают нейронную сеть / многослойную модель персептрона, размер входных данных которой равен размеру вложенных предложений. ReLU используется как функция активации нейронов. Вышеупомянутые задачи классификации носят бинарный характер. Следовательно, для сгенерированных предложений назначается метка для каждой задачи (да или нет). Генерируется 5000 таких предложений, из которых 4000 предложений с соответствующими метками используются в качестве обучающего набора, а остальные 1000 предложений (с соответствующими метками) используются в качестве тестового набора. Настройка гиперпараметров не требуется, поскольку спецификации сети упомянуты в (Adi et. Al, 2016). Авторы не занимаются обучением генерированию вложений предложений. Они также не разрабатывают алгоритм встраивания предложений. Они используют алгоритмы внедрения, которые уже доступны в виде предварительно обученных моделей в их собственных корпусах. Эти модели используются для вложения предложений для сгенерированных 5000 предложений. Вложения предложения и соответствующие им метки для задачи образуют набор данных для модели нейронной сети. Модель обучается с помощью набора поездов и тестируется с помощью набора тестов.

Модели встраивания предложений. Различные используемые модели встраивания предложений описаны ниже:

BOW: Модель BOW - это простая модель, в которой для представления каждого слова в предложении используется вектор. Он усредняет эти вложения и использует их как вложения предложений.

Автоэнкодер с последовательным шумоподавлением. Это метод обучения без учителя, в котором используется автоэнкодер на основе LSTM.

Пропуск встраивания мыслей: они используют ГРУ для генерации встраивания предложений. Доступны два варианта: uni-skip (ST-UNI) и bi-skip (ST-BI). Кодеры uni-skip отвечают на прямой проход, тогда как bi-skip использует как прямые, так и обратные проходы в нейронной сети.

InferSent: InferSent - самая продвинутая модель, которая использует многослойный двунаправленный LSTM для создания встраиваемых предложений.

Результаты:

Результаты моделей по различным задачам представлены в таблице выше. Он взят из Ettinger et al. (2018).

Модель Bag of Words (BOW) хорошо справляется с задачами, основанными на содержании. Это говорит о том, что модель BOW идеально кодирует значение слова. Ожидается, что он плохо справится с задачами Order, SemRole и Negation, и он сделал это. Это служит проверкой набора данных и удовлетворяет этим критериям. Это также может быть связано с очень ограниченным словарным набором из 17 слов, используемых в модуле генерации данных.

Для задачи отрицания все модели, кроме ST-BI, показали себя хорошо. Вероятно, это связано с тем, что при прямом проходе сначала встречается отрицание, за которым следует глагол, но при обратном проходе эта последовательность меняется на обратную. Следовательно, информация могла быть неправильно получена. Другие модели преуспели, даже когда трудно уловить отношения, даже когда это трудно сделать с наличием наречий между отрицанием и глаголом. Также это может быть связано с уменьшением размерности вложений с 1200 до 300.

Для задачи семантической роли (SemRole) InferSent работает случайно, а другие модели также не работают. Как утверждают авторы данной статьи (Ettinger et al., 2018), модели встраивания предложений не предоставляют убедительных доказательств того, что они в значительной степени захватывают семантическую роль.

Также можно сделать вывод, что разные модели встраивания предложений, которые имеют разную архитектуру дизайна и цели, не смогли оказать сколько-нибудь значительного влияния на смысл и состав предложения при оценке посредством их встраивания. Все модели охватывают почти одинаковый уровень смысла и композиции в своих вложениях.

Результат также доказывает, что предложенный подход является надежным для определения того, насколько / насколько смысл и композиция улавливаются вложениями предложений. Можно определить больше задач, чтобы лучше понять информацию, полученную во вложениях предложений.

Авторы планируют протестировать другие модели, явно встраивая синтаксическую структуру, упомянутую в e (Bowman et al., 2016; Dyer et al., 2016; Socher et al., 2013), в их будущую работу.

Ссылки

Эттингер А., Эльгохари А., Филлипс К. и Резник П. (2018). Оценка композиции в векторных представлениях предложений. arXiv: 1809.03992.

Йоси Ади, Эйнат Кермани, Йонатан Белинков, Офер Лави и Йоав Голдберг. 2016. Детальный анализ вложений предложений с использованием вспомогательных задач прогнозирования. Препринт arXiv arXiv: 1608.04207.

Стивен Берд, Юэн Кляйн и Эдвард Лопер. 2009. Обработка естественного языка с помощью Python: анализ текста с помощью инструментария естественного языка. O’Reilly Media, Inc.

Кристи Доран, Дания Эгеди, Бет Энн Хоккей, Бангалор Шринивас и Мартин Зайдель. 1994. Система XTAG: грамматика широкого охвата английского языка. В материалах 15-й конференции по компьютерной лингвистике Том 2, страницы 922–928. Ассоциация компьютерной лингвистики.

Сэмюэл Р. Боуман, Габор Анджели, Кристофер Поттс и Кристофер Д. Мэннинг. 2015. Большой аннотированный корпус для изучения логического вывода на естественном языке. В ЕМНЛП.

Крис Дайер, Адигуна Кункоро, Мигель Баллестерос и Ной А. Смит. 2016. Рекуррентные грамматики нейронных сетей. NAACL.

Ричард Сохер, Алекс Перелыгин, Жан Ву, Джейсон Чуанг, Кристофер Д. Мэннинг, Эндрю Нг и Кристофер Поттс. 2013. Рекурсивные глубинные модели семантической композиционности на банке дерева настроений. В материалах конференции 2013 г. по эмпирическим методам обработки естественного языка, страницы 1631–1642.