Поскольку конференц-центр находится всего в нескольких шагах от офиса Cogito в Дублине, было бы грубо с нашей стороны не посетить 60-ю ежегодную конференцию Ассоциации вычислительной лингвистики (ACL) 2022 года. Область вычислительной лингвистики и обработки естественного языка продолжает оставаться испытательным полигоном для последних разработок в области машинного обучения на основе глубоких нейронных сетей, и исследования в этой области процветают. Мы выбрали несколько докладов, которые привлекли наше внимание на конференции, и они должны дать вам представление о том, где в настоящее время находится эта научная область.

Основные моменты бумаги

Обучение кросс-модальному дискретному представлению

Первая статья, которую мы хотели вызвать, принадлежит группе Джима Гласса в Массачусетском технологическом институте. Документ фокусируется на важном исследовательском фокусе мультимодального обучения с самоконтролем. Недавняя работа показала возможность кодирования представлений, связанных с несколькими модальностями (например, текстом и изображением), в единый вектор, который можно использовать для последующих задач классификации. Их метод включает в себя пространство вложения, используемое для объединения модальностей, где исходное представление дискретизируется с использованием векторного квантования и записывается как записи в дискретной кодовой книге. Помимо демонстрации повышенной точности в некоторых задачах видео + аудио и видео + текст, авторы подчеркивают некоторые преимущества интерпретируемости использования этого подхода кодовой книги с семантически схожими образцами, использующими одни и те же части кодовой книги.

Социально осведомленное НЛП для социального воздействия

Во время конференции состоялась сессия под названием В центре внимания для молодых восходящих звезд, которая состояла из ряда приглашенных докладов пяти видных молодых исследователей. Выступление Дийи Янга под названием Социально-ориентированное НЛП для социального воздействия было особенно интересным, и в нем был представлен обзор того, как применять целостный, контекстуальный подход к разработке приложений для обработки естественного языка.

Таксономия эмпатических вопросов в социальных диалогах

По мере того, как транзакционные вопросы-ответы для разговорных чат-ботов становятся чем-то вроде решенной проблемы, исследования начинают сосредотачиваться на эмоциональном восприятии этих взаимодействий. Эта статья, написанная исследователями из Лозанны в Швейцарии, посвящена разработке таксономии эмпатических вопросов. Используя набор данных EmpatheticDialogues, авторы используют человеческие аннотации, включая краудсорсинг, чтобы помочь построить и проверить этот набор классов вопросов. Ключевой вывод исследования заключается в том, что использование определенных классов вопросов в ответ на определенное эмоциональное состояние пользователя может быть эффективным средством регулирования эмоций во время взаимодействия.

∞ -former: бесконечный преобразователь памяти

Трансформеры продолжают привлекать к себе внимание научно-популярных заголовков, поскольку они поддерживают новые футуристические технологии, такие как массивная языковая модель GPT-3, а также синтез текста в изображение, такие как DALL-E и новый Imagen от Google.

Однако преобразователи по-прежнему непрактичны для многих приложений, в частности, из-за механизма самоконтроля и его вычислительной сложности, квадратичной по отношению к размеру входных данных. Таким образом, в основном, если у вас есть вариант использования потоковой передачи в реальном времени или если ваши входные данные очень велики, может быть очень сложно использовать преимущества Transformers. Многие недавние исследования были сосредоточены на решении этой проблемы, см., например, Transformer XL, однако, несмотря на это внимание, до сих пор не удалось прийти к приемлемому подходу.

В статье The Infinite Memory Transformer, написанной исследователями из Google DeepMind и Unbabel, представлены новейшие методы решения этой проблемы. При самостоятельном внимании векторы ключа и значения объединяются, чтобы регулировать объем информации, передаваемой на следующий уровень сети для каждой входной выборки. Вместо того, чтобы хранить буфер этих векторов для поддержки пошаговой обработки, авторы здесь сохраняют параметры непрерывной функции для каждого элемента в векторах. По мере обработки новых образцов параметры этих функций обновляются. Кроме того, для образцов с более высокими весовыми коэффициентами внимания (т. е. потенциально указывающими на более заметные области) используется подход, обеспечивающий более высокое разрешение в хранимых функциях. Они называют это взвешивание липкими воспоминаниями. Представленные эксперименты подчеркивают потенциал этого подхода для запоминания важных моментов в очень длинных последовательностях.

О надежности классификаторов оскорбительных выражений

Обработка естественного языка играет важную роль в современных платформах социальных сетей, в частности, как средство выявления и регулирования сообщений с оскорбительным языком, которые могут быть расистскими или ненавистническими. Однако между такими моделями классификации и создателями оскорбительного контента существуют сложные враждебные отношения. Когда эти пользователи увидят, что классифицируется как оскорбительное, они отреагируют, изменив определенные символы или слова, чтобы обойти алгоритм классификации.

В статье О надежности классификаторов оскорбительного языка исследователи из Университета Айовы демонстрируют, насколько значительно может быть снижена точность таких классификаторов оскорбительного языка в контексте этих враждебных атак. Исследование также выделяет некоторые потенциальные пути смягчения этого снижения точности, включая использование состязательного обучения и симуляций увеличения данных.

Объяснимо ли внимание? Введение в дебаты

Внимание, конечно же, является жизненно важным компонентом слоев Преобразователя и ответственно за многие достижения в НЛП и других областях в последние годы. Однако вторичным преимуществом, которое люди часто подчеркивают с помощью Attention, является потенциал для весов внимания, чтобы предоставить объяснения или, по крайней мере, предоставить некоторую дополнительную информацию о том, какие части входных данных были важны для создания вывода модели.

Во время этого выступления исследователи из Университета Лувена представили обзор различных точек зрения на дебаты о том, можно ли использовать внимание для целей объяснимости или нет. В предыдущих статьях, например Jain and Wallace in 2019, приводятся убедительные утверждения о том, что веса внимания не дают осмысленных объяснений и часто совершенно не коррелируют с важностью признаков. В других работах, таких как Вигреффе и Пинтер в 2019 году, утверждается, что, хотя веса внимания не могут считаться объяснением, их можно считать объяснением.

В этой длинной статье ACL авторы подчеркивают важность принятия четко определенных понятий, таких как правдоподобие (считает ли пользователь объяснение модели правдоподобным) и достоверность (насколько близко объяснение к внутренней работе модели). модели) при оценке объяснимости.

Изученные инкрементальные представления для синтаксического анализа

Синтаксический анализ — это задача определения синтаксической структуры предложения. Например, мы бы хотели, чтобы синтаксические анализаторы могли разрешить двусмысленность в следующем предложении: Мы видели, как Эйфелева башня летела в Париж. Это фундаментальная задача НЛП, которая исследовалась десятилетиями и имеет множество применений в качестве этапа предварительной обработки. Большинство предложенных методов являются неинкрементными. Предыдущие методы инкрементного анализа, так называемые спекулятивные методы, были неэффективны. При возникновении двусмысленности эти инкрементные синтаксические анализаторы запускали несколько конкурирующих анализов и обрабатывали их параллельно. В этой статье авторы решают проблему неоднозначности синтаксического анализа, изучая дискретные представления тегов (так называемые супертеги), которые изучаются сквозным образом вместе с преобразователем нейронного дерева, который преобразует теги в древовидную структуру. Авторы показывают, что они могут достичь тех же самых современных результатов, что и неинкрементные системы в наборе данных Penn Treebank.

Онлайн-семантический анализ для уменьшения задержки в диалоге, ориентированном на задачу

Одна из основных проблем, с которыми сталкиваются ориентированные на задачи диалоговые системы, заключается в том, что обычно существует задержка между тем, когда пользователь заканчивает высказывание, и тем, когда система отвечает. Например, если пользователь говорит: Добавить вечеринку у бассейна с Бараком Обамой и Джо на завтра в 9:00, система ожидает, пока пользователь закончит говорить, а затем последовательно выполняет
поиск Барак Обама и Джо в списке контактов пользователя, и, наконец, создает событие вечеринка у бассейна и добавляет их в него. Такое последовательное выполнение выполняется медленно и приводит к большим задержкам. В этой статье авторы предлагают семантический синтаксический анализатор на основе графа, который позволяет выполнять узлы семантического синтаксического анализа параллельно до окончания высказывания. Таким образом, в примере поиск Барак Обама и Джо может выполняться параллельно до того, как пользователь закончит высказывание. Авторы показывают, что это может привести к гораздо более быстрому времени выполнения с сокращением задержки от 30 % до 63 %.

Больше конференций по языковым технологиям в Дублине!

Мы были в восторге от проведения такой важной конференции по языковым технологиям в Дублине, особенно учитывая оживленность как академической, так и коммерческой работы, происходящей здесь в этом пространстве. В следующем году
состоится конференция Interspeech 2023, которая поможет еще больше выделить Дублин и Ирландию как основной центр исследований в области речевых и языковых технологий.