В 2016 году исследователи опубликовали статью Перенос стиля изображения с помощью сверточных нейронных сетей, в которой представили метод, позволяющий нейронной сети переносить стиль с произведения искусства на фотографию. Эта техника стала популярной и теперь доступна в таких приложениях, как Prisma или фильтры Facebook.
В 2017 году исследователи из Adobe и Корнельского университета опубликовали новую статью под названием Глубокая передача стиля фотографии, в которой они берут методы из оригинальной бумаги для переноса стиля и улучшают их, чтобы добиться фотореалистичной передачи стиля.
Как видно из предыдущего изображения, (а) представляет исходное изображение, а также изображение, из которого будет перенесен стиль. На следующих изображениях (b)–(f) выполнен перенос стиля, и мы можем видеть результаты, где лямбда представляет интенсивность переноса. Исследователи обнаружили, что хорошим значением является лямбда = 10⁸.
Для достижения этих результатов они предложили две основные идеи исходной модели передачи стиля:
- Член регуляризации фотореализма в функции оптимизации.
- Дополнительное руководство по процессу передачи стиля на основе семантической сегментации входных данных, чтобы избежать несоответствия содержания.
Результаты удивительны, модель способна сохранить исходную структуру изображения, применяя цветовое пространство целевого изображения. Вскоре мы увидим приложения для фотографий, реализующие такую технику для своих пользователей.
