Обзор Lickety Split
Проблема: модели SR страдают от реальной неизвестной комплексной деградации.
Решение.
• Используйте разнообразные методы деградации.
• Используйте методы деградации случайным образом.
Процесс обучения Vanilla SR состоит из получения изображения HQ и получения LQ как деградации HQ с размытием, субдискретизацией, шумом и сжатием JPEG. Этот метод для LQ недостаточен, потому что в реальных сценариях у нас есть неизвестное ухудшение изображения, потому что мы делимся им через Интернет n раз, сохраняем его со сжатием и так далее. Чтобы решить эту проблему, авторы разрабатывают модель деградации, состоящую из последовательности различных методов деградации, таких как изотропное и анизотропное размытие по Гауссу с различными размерами ядра, ближайшая/билинейная/бикубическая субдискретизация, гауссов шум, два сжатия JPEG и шум датчика камеры. Эти методы каждый раз случайным образом перемешиваются, чтобы получить последовательность деформации.
Существует также сама модель, называемая BSRGAN, но в некотором смысле это ESRGAN с применением именно этой модели деградации.
IMHO: не уверен в значимости этого метода перед аналогами из-за Real-ESRGAN как метода деградации SOTA при сравнении с BSRGAN не учитывал различия в архитектурах, поэтому нет качественных результатов прямого сравнения разных моделей деградации; возможно, сочетание этой схемы и sinc-фильтра от Real-ESRGAN даст значительный прирост.
Привет всем! «Lickety Split Review» предназначен для того, чтобы дать вам представление о том, о чем статья, за пару минут: мы выделяем проблемы, с которыми сталкиваются авторы, показываем, как они их решают, рассказываем о новизне и даем вам свое скромное мнение о ней. .
