Использование плотного сокращения и остаточного обучения, снижение средней скорости BD на 6,9%, превосходит VRCNN и DCAD
В этой статье дается краткий обзор плотной остаточной сверточной нейронной сети (DRN), разработанной Уханьским университетом и Tencent Media Lab. Некоторые сетевые методы классификации изображений используются повторно:
- Плотные ярлыки в DenseNet для повторного использования функций.
- Остаточное обучение в ResNet с использованием слоя узких мест.
Используя эти методы, был изобретен DRN. Он действует как петлевой фильтр для улучшения качества восстановленного видео. Это опубликовано в VCIP 2018. (Сик-Хо Цанг @ средний)
Контур
- Контурная фильтрация
- Плотная остаточная единица
- Полная сетевая архитектура
- Интеграция в HEVC
- Данные обучения и функция потери
- Экспериментальные результаты
1. Внутрицикловая фильтрация
- Петлевой фильтр используется для повышения качества видеокадра до того, как видеокадр будет использован для просмотра или прогнозирования.
- Чем выше качество, тем лучше прогноз можно получить для следующего кадра. Битрейт можно уменьшить за счет лучшего предсказания.
- Кроме того, реконструированный видеокадр может иметь лучшее качество для просмотра конечным пользователем.
- В HEVC сначала применяется фильтр удаления блочности (DBF), чтобы уменьшить артефакты блокировки, расположенные на границах блоков кодирования.
- Адаптивное смещение выборки (SAO) дополнительно улучшает качество видео, адаптивно добавляя предопределенное значение смещения к каждой выборке.
- (Чтобы узнать больше о кодировании видео, прочтите разделы 1 и 2 в IPCNN.)
2. Плотная остаточная единица
- Разработана новая блочная структура, называемая плотной остаточной единицей (DRU).
- DRU содержит один сверточный слой 1 × 1, за которым следуют два сверточных слоя 3 × 3 с активационным слоем между ними.
- Выходные данные свертки 1 × 1 складываются с последней сверткой 3 × 3, а затем объединяются с исходными входными данными, чтобы сгенерировать окончательный результат блока.
- Сверточный слой 1 × 1 служит узким местом, источником которого является ResNet, с целью экономии вычислительных ресурсов и уменьшения количества параметров сети. модель.
- После слоя узкого места не добавляется слой активации.
- Слои пакетной нормализации (BN) удалены в DRU, так как это может привести к потере низкоуровневых функций, важных для восстановления изображения.
3. Вся сетевая архитектура
- Сеть состоит из серии DRU (N × DRN) с некоторыми сверточными слоями 3x3.
- Предлагаемый DRN принимает на вход изображение RGB. За исключением последнего слоя свертки, который генерирует 3-канальный вывод.
- Другие сверточные слои создают такое же количество карт объектов (обозначенных как M).
- N = 8 и M = 64.
- С каскадными DRU в сети, DRU может получать многоуровневые функции от всех предшествующих устройств через плотные ярлыки, исходящие из DenseNet.
4. Интеграция в HEVC
- Восстановленные кадры перед подачей в DRN сначала фильтруются DBF. Затем используется SAO, чтобы дополнительно адаптивно уменьшить артефакты на выходах DRN.
- Дополнительные два флага передаются в битовом потоке для каждого кадра, чтобы указать использование предложенного фильтра по яркости и цветности соответственно.
- Использование DRN в качестве дополнительного фильтра улучшает качество реконструированного видео.
5. Данные обучения и функция потери
- Предлагаемая сеть обучена и проверена с использованием набора данных DIV2K.
- В его обучающем наборе 800 изображений, а в его валидационном наборе - 100 изображений.
- Небольшие фрагменты размером 192 × 192 случайным образом извлекаются из обучающих выборок и передаются в сеть.
- Кроме того, обучающие данные дополняются случайными переворотами, случайными поворотами.
- Функция потерь - это функция потерь MSE:
6. Экспериментальные результаты
6.1. BD-скорость (битрейт)
- Тестируются четыре конфигурации кодирования: All Intra (AI), Low Delay B (LDB), Low Delay P (LDP) и Random Access (RA).
- Среднее снижение скорости BD на 6,9%, 4,5%, 5,1% и 5,2% было получено для AI, LDB, LDP и RA соответственно.
6.2. Визуальное качество
- Изображение, восстановленное HEVC с DRN, более резкое.
6.3. SOTA Сравнение
Ссылка
[2018 VCIP] [DRN]
Контурный фильтр на основе плотной остаточной сверточной нейронной сети для HEVC
Фильтрация кодеков
[ARCNN] [Lin DCC'16] [IFCNN] [Li ICME'17] [VRCNN] [DCAD] [DRN] [DS-CNN] [ Лу CVPRW'19 ] [ Ван APSIPA ASC'19 ] [ RHCNN ]