1. Поддающийся проверке и энергоэффективный анализ медицинских изображений с помощью квантованных нейронных сетей с автономным вниманием (arXiv)
Автор: Ракшит Сатиш, Свананд Кхаре, Лист Дебдута
Аннотация. Сверточные нейронные сети сыграли важную роль в различных задачах медицинской визуализации, таких как классификация и сегментация. Они обеспечивают высочайшую производительность по сравнению с классическими алгоритмами обработки изображений. Однако основным недостатком этих методов является высокая вычислительная сложность, зависимость от высокопроизводительного оборудования, такого как графические процессоры, и присущий модели характер черного ящика. В этой статье мы предлагаем квантованные автономные модели, основанные на само-внимании, в качестве альтернативы традиционным CNN. В предлагаемом классе сетей сверточные слои заменяются автономными слоями самоконтроля, а параметры сети квантуются после обучения. Мы экспериментально подтверждаем эффективность нашего метода в задачах классификации и сегментации. Мы наблюдаем уменьшение размера модели на 50–80 %, уменьшение количества параметров на 60–80 %, уменьшение количества FLOP на 40–85 % и повышение энергоэффективности на 65–80 % при логическом выводе на процессорах. Код будет доступен по адресу \href {https://github.com/Rakshith2597/Quantised-Self-Attentive-Deep-Neural-Network}{https://github.com/Rakshith2597/Quantised-Self-Attentive-Deep- Нейронная сеть}.
2. К легким атакам черного ящика против глубоких нейронных сетей (arXiv)
Автор: Чэнхао Сун, Юнган Чжан, Вань Чаоцюнь, Цичжоу Ван, Я Ли, Тунлян Лю, Бо Хань, Синьмэй Тянь
Вывод:атаки методом «черного ящика» могут генерировать враждебные примеры без доступа к параметрам целевой модели, что в значительной степени усугубляет угрозы развернутых глубоких нейронных сетей (ГНС). Однако в предыдущих работах утверждается, что атаки «черного ящика» не могут ввести в заблуждение целевые модели, когда их обучающие данные и выходные данные недоступны. В этой работе мы утверждаем, что атаки методом «черного ящика» могут представлять собой практические атаки в этом чрезвычайно ограничительном сценарии, когда доступно только несколько тестовых образцов. В частности, мы обнаружили, что атака на неглубокие уровни DNN, обученных на нескольких тестовых образцах, может привести к созданию мощных враждебных примеров. Поскольку требуется всего несколько образцов, мы называем эти атаки легкими атаками черного ящика. Основная проблема продвижения облегченных атак заключается в смягчении неблагоприятного воздействия, вызванного ошибкой аппроксимации мелких слоев. Поскольку трудно уменьшить ошибку аппроксимации с помощью нескольких доступных образцов, мы предлагаем Error TransFormer (ETF) для облегченных атак. А именно, ETF преобразует ошибку аппроксимации в пространстве параметров в возмущение в пространстве признаков и уменьшает ошибку за счет возмущающих признаков. В экспериментах легкие атаки черного ящика с предлагаемым ETF дают удивительные результаты. Например, даже если доступна только одна выборка для каждой категории, вероятность успеха в облегченных атаках черного ящика всего примерно на 3% ниже, чем в атаках черного ящика с полными обучающими данными.
3. Более пристальный взгляд на оценку атаки Bit-Flip против глубоких нейронных сетей (arXiv)
Автор: Кевин Эктор, Матье Дюмон, Пьер-Ален Мёллик, Жан-Макс Дютертр
Вывод. Модели глубоких нейронных сетей массово развертываются на самых разных аппаратных платформах. Это приводит к появлению новых векторов атак, которые значительно расширяют стандартную поверхность атаки, широко изучаемую состязательным сообществом машинного обучения. Одной из первых атак, направленных на резкое снижение производительности модели путем изменения ее параметров (весов), хранящихся в памяти, является атака с переворотом битов (BFA). В этой работе мы указываем на несколько проблем оценки, связанных с BFA. Во-первых, проблематичным является отсутствие бюджета противника в стандартной модели угроз, особенно когда речь идет о физических атаках. Более того, поскольку BFA представляет критическую изменчивость, мы обсуждаем влияние некоторых параметров обучения и важность архитектуры модели. Эта работа является первой, в которой представлено влияние BFA на полносвязные архитектуры, поведение которых отличается от поведения сверточных нейронных сетей. Эти результаты подчеркивают важность определения надежных и надежных методологий оценки для правильной оценки опасностей атак на основе параметров, а также для измерения реального уровня надежности, предлагаемой защитой.
