LossIsNan, Группа детекторов
Фокус: изображение/видео
1. FaceForensics++: обучение обнаружению манипулируемых изображений лица5
В документе предлагается автоматизированный эталонный тест, основанный на нескольких текущих методах манипулирования лицом при случайном уровне сжатия и размере. Несмотря на анализ, они считают, что могут обнаруживать манипулирование лицом и в значительной степени превосходят человеческие наблюдатели. Они использовали модифицированную XceptionNet (CNN), достигающую наилучшей производительности, а точность изображений LQ, сгенерированных GAN, необходимо улучшить.
2. MesoNet: компактная сеть обнаружения подделок видео лиц6
В этом документе говорится, что текущее обнаружение изображения нельзя использовать в видео из-за ухудшения качества и сжатия данных. Поэтому, сосредоточившись на глубоких подделках и обнаружении Face2Face, они использовали CNN для обнаружения поддельного видео с помощью начального блока. И они обнаружили, что детализированные области глаз, носа и рта имеют решающее значение для обнаружения.
3. Обнаружение видео DeepFake с использованием рекуррентных нейронных сетей3
В документе сначала проанализирован процесс создания видео DeepFake для обнаружения аномалий, которые можно использовать. Затем они предложили временную систему для автоматического обнаружения видео DeepFake. Система использует CNN для извлечения функций на уровне кадра, которые затем используются для обучения рекуррентной нейронной сети анализу временной последовательности для обнаружения манипулируемых видео. И предложенная модель достигла точности более 96% на наборе данных HOHA с дополнительными настраиваемыми данными.
4. Рекуррентные сверточные стратегии для обнаружения манипуляций с лицами в видео4
В статье исследуются стратегии сочетания рекуррентно-сверточной нейронной сети и подхода к выравниванию лица для обнаружения манипулируемых видео, оцененных на FaceForennsiscs++. Они использовали два метода предварительной обработки лица, включая явное выравнивание с использованием ориентиров лица и неявное выравнивание с использованием сети пространственного преобразователя. Для части обнаружения они попытались использовать одну рекуррентную сеть поверх конечных функций из магистральной сети, а также изучить несколько рекуррентных сетей на разных уровнях иерархии магистральной сети. Они обнаружили, что выравнивание лица на основе ориентиров с двунаправленной рекуррентной плотной сетью имеет хорошую производительность.
5. Глубокое обнаружение поддельных изображений на основе парного обучения 5
Учитывая, что традиционные методы обнаружения подделки изображений сегодня не так хорошо работают на популярных моделях GAN, авторы предлагают общую поддельную сеть признаков (CFFN). Модель можно разделить на три этапа:
1) Различные GAN генерируют пары ‹real_img, fake_img›;
2) Репрезентативное обучение с использованием адаптированной сети CNN с плотным блоком и контрастными потерями; 3) Классификационное обучение через потерю перекрестной энтропии.
6. Капсульная криминалистика: использование капсульных сетей для обнаружения поддельных изображений и видео 6
В этом документе процесс обнаружения подделки изображений разделен на пять этапов, несмотря на предварительную обработку, генерацию обучающего примера и постобработку, двумя основными этапами являются:
1) Обучение представлению с использованием существующего метода VGG-19;
2) Классификационное обучение на основе капсульной сети и потери перекрестной энтропии.
7. Защита мировых лидеров от дипфейков
Баппи Дж. Х., Саймонс С., Натарадж Л. и др.7 описывают криминалистическую методику, которая моделирует выражения лица и движения, типичные для речи человека. Они используют набор инструментов для анализа лицевого поведения OpenFace2 с открытым исходным кодом для извлечения движений лица и головы в видео. В результате их модель показывает самые современные характеристики (средняя точность 0,95).
8. Гибридная архитектура LSTM и кодировщик-декодер для обнаружения подделок изображений
Агарвал С., Фарид Х., Гу И и др.8 предлагают высоконадежную архитектуру локализации манипуляций, в которой используются функции повторной выборки, ячейки долговременной кратковременной памяти (LSTM) и сеть кодировщик-декодер для отделения манипулируемых областей от не- манипулируемые. Кроме того, для управления процессом обучения представлен большой набор данных для сращивания изображений.
Сводка
В общем, текущий метод обнаружения основан на CNN и сочетает в себе некоторые методы извлечения признаков, такие как выравнивание лиц и стегоанализ. С точки зрения задачи обнаружения видео, введение RNN является обычным явлением, чтобы учитывать временной контекст. Но интуиция этих методов разделилась на несколько направлений, таких как обнаружение недостатков генераторов дипфейков вроде неестественных частей в поддельных изображениях. Или вместо того, чтобы сосредоточиться на DeepFake Generator, они хотят найти функцию во всех измененных изображениях и создать детектор, который мог бы обобщать все экземпляры.
Справочник
1. Сабир, Экрам и др. «Рекуррентные сверточные стратегии для обнаружения манипуляций с лицами в видео». Интерфейсы (GUI) 3 (2019): 1.
2. Гуэра, Дэвид и Эдвард Дж. Делп. «Обнаружение дипфейкового видео с использованием рекуррентных нейронных сетей». 15-я Международная конференция IEEE по усовершенствованному наблюдению на основе видео и сигналов (AVSS), 2018 г.. ИИЭР, 2018.
3.Ресслер, Андреас и др. «Faceforensics: крупномасштабный набор видеоданных для обнаружения подделок человеческих лиц». препринт arXiv arXiv:1803.09179 (2018 г.).
4.Афчар, Дариус и др. «Мезонет: компактная сеть обнаружения подделки видео лиц». Международный семинар IEEE по криминалистике и безопасности информации (WIFS), 2018 г.. ИИЭР, 2018.
5. Сюй С.С., Чжуан Ю.С. и Ли С.Ю. (2019). Глубокое обнаружение поддельных изображений на основе парного обучения. Препринты, 2019050013.
6. Нгуен, Х. Х., Ямагиши, Дж., и Эчизен, И. (2019, май). Капсульная криминалистика: использование капсульных сетей для обнаружения поддельных изображений и видео. В 2019 г. состоялась Международная конференция IEEE по акустике, обработке речи и сигналов (ICASSP) (стр. 2307–2311). IEEE.
7. Баппи Дж. Х., Саймонс С., Натарадж Л. и др. Гибридная архитектура LSTM и кодировщик-декодер для обнаружения подделок изображений[J]. IEEE Transactions on Image Processing, 2019, 28(7): 3286–3300.
8. Агарвал С., Фарид Х., Гу Ю. и др. Защита мировых лидеров от дипфейков[C]//Материалы конференции IEEE по семинарам по компьютерному зрению и распознаванию образов. 2019: 38–45.
