AI Scholar: Последствия состязательных атак
Это краткое изложение исследования – лишь одно из многих, которые еженедельно публикуются в информационном бюллетене для ученых, занимающихся искусственным интеллектом. Чтобы начать получать еженедельную рассылку, зарегистрируйтесь здесь.
Нейронные сети уязвимы для атак со стороны противника, которые могут привести к ложным прогнозам, таким как путаница собаки с лягушкой. Но, как вы, наверное, знаете, они не ограничиваются классификаторами изображений. Некоторые из них предназначены для снижения производительности модели путем создания определенных выходных данных, выбранных злоумышленником. Например, злоумышленник может использовать их, чтобы нанести огромный ущерб в других сценариях, таких как беспилотные автомобили.
Имея это в виду, крайне важно заранее предвидеть другие неисследованные цели злоумышленников, чтобы сделать системы машинного обучения более безопасными.
Состязательное перепрограммирование нейронных сетей
В недавнем исследовании исследователи Google рассмотрели новую и более сложную задачу злоумышленника: перепрограммировать модель для выполнения задачи, выбранной злоумышленником, без необходимости для злоумышленника вычислять конкретный желаемый результат.
Исследователи обнаружили, что обученные нейронные сети можно перепрограммировать для классификации перетасованных изображений, которые не сохраняют никакой исходной пространственной структуры, что предполагает возможность перепрограммирования между доменами.
Они также обнаружили, что обученные нейронные сети более восприимчивы к состязательному перепрограммированию, чем случайные системы, и что перепрограммирование по-прежнему удается, даже когда структура данных сильно отличается от структуры данных в основной задаче.
Возможное использование и эффекты
Вот оно! Демонстрация состязательного перепрограммирования задач классификации в области изображений.
Могут ли подобные атаки быть успешными для аудио, видео, текста или других областей? Возьмем, к примеру, состязательное перепрограммирование RNN — злоумышленнику нужно только найти входные данные для выполнения простых операций в RNN, и он может перепрограммировать модель для выполнения любой вычислительной задачи.
Ужасно, чего могут добиться злоумышленники, если специально созданный ввод может перепрограммировать системы машинного обучения. Например, злоумышленникам будет легко украсть вычислительные ресурсы или выполнить задачи, которые нарушают программирование облачной службы и многое другое. Все это показывает потенциальную угрозу, которую состязательное перепрограммирование может принести системам ИИ.
Поскольку сообщество ИИ смотрит в будущее, крайне важно знать о потенциальных проблемах, которые могут принести достижения ИИ, и работать над возможными способами их смягчения или защиты от них.
Подробнее: https://openreview.net/pdf?id=Syx_Ss05tm
Спасибо за чтение. Пожалуйста, комментируйте, делитесь и не забывайте подписаться на нашу еженедельную рассылку AI Scholar Newsletter, чтобы получать самые свежие и интересные исследовательские работы! Вы также можете следить за мной в Twitter и LinkedIn. Не забудьте поставить 👏, если вам понравилась эта статья. Ваше здоровье!
