Сюзанна Макинтош, аффилированный преподаватель CDS и клинический доцент компьютерных наук в Нью-Йоркском университете, работала с Ци Цуй из Нанкинского университета информатики и технологий и Инженерным центром сетевого мониторинга Цзяншу и Хуэй Сунь из Нью-Йоркского университета, чтобы изучить способы различать компьютер. -генерированные графические (CG) и фотографические изображения (PI) за счет использования глубоких сверточных нейронных сетей (DCNN).

Изображения компьютерной графики стало чрезвычайно трудно отличить от их подлинных аналогов. Человеческий глаз тоже справляется с этой задачей. На переднем крае криминалистики изображений находятся глубокие сверточные нейронные сети (DCNN), которые исследователи сейчас используют для этой цели. При оптимизации с помощью коротких соединений сети DCNN обеспечивают высокую точность в этом направлении.

Сети DCNN имеют иерархическую структуру, в которой изображения используются на входе и подвергаются фильтрации верхних частот. Исследователи сначала обучили глубокую нейронную сеть, используя каталог изображений. Эти тестовые изображения проходят высокочастотную фильтрацию, после чего нейронная сеть может идентифицировать ключевые особенности. Центральным в этом процессе было использование физических различий между изображениями, в частности использование «шума». Эта стратегия усиливает естественный «шум», характерный для фотографических изображений. Из-за «гладкого» качества изображений компьютерной графики шум является подходящим индикатором легитимности. Как только DCNN сгенерирует файл модели из этого тестового набора изображений, реальный ввод проходит через тот же процесс фильтрации и сравнивается с моделью. Наконец, изображение классифицируется как CG или PI.

Исследователи провели первоначальный тест с использованием CaffeNet, который показал среднюю точность только 83%. При модификации с помощью коротких соединений CaffeNet достиг максимальной средней точности 87%. После добавления коротких соединений к 50-слойной CNN средняя точность поднялась до 98%.

Сабрина де Сильва