Авторы: Прамод Каушик Мудракарта, Анкур Талы, Мукунд Сундарараджан, Кедар Дхамдхере
В этой статье они анализируют модели глубокого обучения SOTA для 3 заданий на ответы на вопросы по изображениям, таблицам и текстовым отрывкам. С помощью атрибуций (важность слов в вопросах, рассчитанная с помощью Интегрированных градиентов) они обнаруживают, что эти модели часто игнорируют важные термины вопроса, и успешно создают множество состязательных примеров, искажая вопросы. Когда модель точна, но по неправильным причинам, атрибуция может выявить ошибочную логику в модели, как в их исследовании.
Два основных этапа анализа каждой задачи:
- Примените Интегрированные градиенты, чтобы приписать прогнозы модели словам в вопросах и визуализировать.
- Определите слабые места в логике модели, выявленные атрибуциями, и используйте их для создания состязательных вопросов. Например, следующие вопросы по-прежнему возвращают «очень» в качестве ответа: «насколько сферическими являются белые кирпичи по обе стороны здания», «как быстро тускнеют кирпичи по обе стороны здания», «как быстро кирпичи, выступающие по обеим сторонам здания».
Таким образом, они обнаружили, что эти модели игнорируют важные части вопросов. Это можно исправить, либо улучшив обучающие данные, либо введя индуктивное смещение. Также имеет смысл предоставить пользователям визуализацию атрибуции. Информация о том, какие слова были проигнорированы или с какими операциями эти слова были сопоставлены, может помочь пользователю решить, доверять ли предсказаниям модели.
Visual QA (модель)
Они обнаруживают, что модель игнорирует многие вопросительные слова и в основном полагается на изображение для получения ответов. Как показано на рисунке ниже, модель сохраняет более 50 % своей первоначальной точности, даже если все слова, кроме «цвета», удалены из всех вопросов проверки. Они также показывают, что модель недостаточно полагается на важные вопросительные слова (например, существительные) и чрезмерно полагается на бессодержательные префиксы (например, «немного слов, …»), что снижает точность с 61,1% до 19%.
QA на столах (модель)
Модель Neural Programmer определяет ответ на вопрос, выбирая последовательность операций для применения к прилагаемой таблице. Они обнаружили, что на выбор этих операций больше влияют слова, не содержащие содержания (например, «в», «в», «в» и т. д.) в вопросах, а не важные слова, такие как существительные или прилагательные. Они также обнаруживают, что модель часто дает правильный ответ по неправильным причинам. Наконец, они демонстрируют крайнюю форму сверхстабильности, когда сама таблица вызывает большое смещение в модели независимо от вопроса.
Понимание прочитанного (модель)
Опять же, они обнаруживают, что модель часто игнорирует слова, которые должны быть важными. Цзя и Лян предлагают атаки, в которых к абзацам добавляются предложения, которые не должны менять ответы, но иногда изменяют. Их главный вывод заключается в том, что эти атаки с большей вероятностью увенчаются успехом, если добавленное предложение включает все вопросительные слова, которые модель сочла важными. Это понимание позволяет создавать более успешные атаки и улучшать наборы обучающих данных.
использованная литература
Мудракарта, ПК; Тали, А .; Сундарараджан, М .; Дамдере, К.
Поняла ли модель вопрос?
Ассоциация компьютерной лингвистики (ACL), 2018 г.
https://arxiv.org/abs/1805.05492
https://github.com/pramodkaushik/acl18_results
