Использование плотного сокращения и остаточного обучения, снижение средней скорости BD на 6,9%, превосходит VRCNN и DCAD

В этой статье дается краткий обзор плотной остаточной сверточной нейронной сети (DRN), разработанной Уханьским университетом и Tencent Media Lab. Некоторые сетевые методы классификации изображений используются повторно:

  • Плотные ярлыки в DenseNet для повторного использования функций.
  • Остаточное обучение в ResNet с использованием слоя узких мест.

Используя эти методы, был изобретен DRN. Он действует как петлевой фильтр для улучшения качества восстановленного видео. Это опубликовано в VCIP 2018. (Сик-Хо Цанг @ средний)

Контур

  1. Контурная фильтрация
  2. Плотная остаточная единица
  3. Полная сетевая архитектура
  4. Интеграция в HEVC
  5. Данные обучения и функция потери
  6. Экспериментальные результаты

1. Внутрицикловая фильтрация

  • Петлевой фильтр используется для повышения качества видеокадра до того, как видеокадр будет использован для просмотра или прогнозирования.
  • Чем выше качество, тем лучше прогноз можно получить для следующего кадра. Битрейт можно уменьшить за счет лучшего предсказания.
  • Кроме того, реконструированный видеокадр может иметь лучшее качество для просмотра конечным пользователем.
  • В HEVC сначала применяется фильтр удаления блочности (DBF), чтобы уменьшить артефакты блокировки, расположенные на границах блоков кодирования.
  • Адаптивное смещение выборки (SAO) дополнительно улучшает качество видео, адаптивно добавляя предопределенное значение смещения к каждой выборке.
  • (Чтобы узнать больше о кодировании видео, прочтите разделы 1 и 2 в IPCNN.)

2. Плотная остаточная единица

  • Разработана новая блочная структура, называемая плотной остаточной единицей (DRU).
  • DRU содержит один сверточный слой 1 × 1, за которым следуют два сверточных слоя 3 × 3 с активационным слоем между ними.
  • Выходные данные свертки 1 × 1 складываются с последней сверткой 3 × 3, а затем объединяются с исходными входными данными, чтобы сгенерировать окончательный результат блока.
  • Сверточный слой 1 × 1 служит узким местом, источником которого является ResNet, с целью экономии вычислительных ресурсов и уменьшения количества параметров сети. модель.
  • После слоя узкого места не добавляется слой активации.
  • Слои пакетной нормализации (BN) удалены в DRU, так как это может привести к потере низкоуровневых функций, важных для восстановления изображения.

3. Вся сетевая архитектура

  • Сеть состоит из серии DRU (N × DRN) с некоторыми сверточными слоями 3x3.
  • Предлагаемый DRN принимает на вход изображение RGB. За исключением последнего слоя свертки, который генерирует 3-канальный вывод.
  • Другие сверточные слои создают такое же количество карт объектов (обозначенных как M).
  • N = 8 и M = 64.
  • С каскадными DRU в сети, DRU может получать многоуровневые функции от всех предшествующих устройств через плотные ярлыки, исходящие из DenseNet.

4. Интеграция в HEVC

  • Восстановленные кадры перед подачей в DRN сначала фильтруются DBF. Затем используется SAO, чтобы дополнительно адаптивно уменьшить артефакты на выходах DRN.
  • Дополнительные два флага передаются в битовом потоке для каждого кадра, чтобы указать использование предложенного фильтра по яркости и цветности соответственно.
  • Использование DRN в качестве дополнительного фильтра улучшает качество реконструированного видео.

5. Данные обучения и функция потери

  • Предлагаемая сеть обучена и проверена с использованием набора данных DIV2K.
  • В его обучающем наборе 800 изображений, а в его валидационном наборе - 100 изображений.
  • Небольшие фрагменты размером 192 × 192 случайным образом извлекаются из обучающих выборок и передаются в сеть.
  • Кроме того, обучающие данные дополняются случайными переворотами, случайными поворотами.
  • Функция потерь - это функция потерь MSE:

6. Экспериментальные результаты

6.1. BD-скорость (битрейт)

  • Тестируются четыре конфигурации кодирования: All Intra (AI), Low Delay B (LDB), Low Delay P (LDP) и Random Access (RA).
  • Среднее снижение скорости BD на 6,9%, 4,5%, 5,1% и 5,2% было получено для AI, LDB, LDP и RA соответственно.

6.2. Визуальное качество

  • Изображение, восстановленное HEVC с DRN, более резкое.

6.3. SOTA Сравнение

  • DRN превосходит VRCNN и DCAD с более высоким снижением битрейта.

Ссылка

[2018 VCIP] [DRN]
Контурный фильтр на основе плотной остаточной сверточной нейронной сети для HEVC

Фильтрация кодеков

[ARCNN] [Lin DCC'16] [IFCNN] [Li ICME'17] [VRCNN] [DCAD] [DRN] [DS-CNN] [ Лу CVPRW'19 ] [ Ван APSIPA ASC'19 ] [ RHCNN ]

Другие мои предыдущие обзоры