Масштабируемый подход к повышению качества, превосходящий ARCNN и VRCNN

В этой статье кратко рассматривается масштабируемая CNN на стороне декодера (DS-CNN), разработанная Университетом Бейхан и Совместным инновационным центром геопространственных технологий. Исходя из вычислительных возможностей декодера, с использованием разной шкалы сложности в одной модели CNN, как показано выше, для улучшения качества изображения/видео и повышения эффективности кодирования. Опубликовано 2017 г. ICME с десятками ссылок. (Сик-Хо Цанг @ Medium)

Контур

  1. От AR-CNN к AR-CNN-1 и AR-CNN-2
  2. Сетевая архитектура DS-CNN-I и DS-CNN-B
  3. Экспериментальные результаты

1. ОтARCNN до AR-CNN-1 и AR-CNN-2

  • Оригинальный ARCNN имеет 4 слоя свертки, как показано выше.
  • (Пожалуйста, не стесняйтесь читать мой обзор ARCNN, если вам интересно.)

  • AR-CNN-1: авторы улучшают ARCNN, увеличивая номер фильтра,
  • AR-CNN-2: И еще один слой. И PSNR улучшен.

2. Сетевая архитектура DS-CNN-I и DS-CNN-B

  • DS-CNN-I: это сеть, состоящая из 5 сверточных слоев (зеленых), как показано выше. Используется для внутрикадрового изображения.
  • DS-CNN-B: используется для межкадрового обмена. Напомним, что Conv 1 предназначен для извлечения признаков внутреннего кодирования. Затем выходные данные Conv 1 и Conv 6 объединяются, и оба они свертываются Conv 7.
  • Таким образом, Conv 7 устраняет шумы как внутреннего, так и внешнего кодирования.
  • Conv 8–10 в DS-CNN-B устроены аналогичным образом.

  • Если вычислительных ресурсов недостаточно, переключатели {S0–S4} выключаются, и в декодере используется только DS-CNN-I.
  • Когда вычислительных ресурсов достаточно, {от S0 до S4} включаются, и DS-CNN-B начинает работать на основе выходных данных слоев Conv 1–4 DS-CNN-I.
  • Из-за уменьшения межкодового искажения качество кадров B/P может быть дополнительно улучшено с помощью DS-CNN-B за счет более высокой вычислительной сложности.

3. Экспериментальные результаты

  • DS-CNN-I превосходит ARCNN и VRCNN для I-кадров.
  • DS-CNN-B превосходит DS-CNN-I для B-кадров, поскольку имеет больше карт признаков для сверток.

Ссылка

[2017 ICME] [DS-CNN]
Повышение качества HEVC на стороне декодера с помощью масштабируемой сверточной нейронной сети

Мои предыдущие обзоры

Классификация изображений[LeNet] [AlexNet] [Maxout] [NIN] [ZFNet] [VGGNet] [Highway] [SPPNet] [ PReLU-Net] [STN] [DeepImage] [SqueezeNet] [GoogLeNet/Inception-v1] [BN-Inception/Inception-v2] [Inception-v3] [ Inception-v4] [Xception] [MobileNetV1] [ResNet] [ResNet до активации] [RiR] [RoR] [Стохастическая глубина] [WRN] [ Shake-Shake] [FractalNet] [Trimps-Soushen] [PolyNet] [ResNeXt] [DenseNet] [PyramidNet] [DRN] [DPN] [ Сеть остаточного внимания] [DMRNet / DFN-MR] [IGCNet / IGCV1] [MSDNet] [ShuffleNet V1] [SENet] [NASNet] [MobileNetV2]

Обнаружение объектов[OverFeat] [R-CNN] [Fast R-CNN] [Faster R-CNN] [MR-CNN & S-CNN] [ DeepID-Net] [CRAFT] [R-FCN] [ION] [MultiPathNet] [NoC] [Hikvision] [GBD-Net / GBD-v1 & GBD-v2 ] [G-RMI] [TDM] [SSD] [DSSD] [YOLOv1] [YOLOv2 / YOLO9000] [YOLOv3] [FPN] [RetinaNet ] [DCN]

Семантическая сегментация[FCN] [DeconvNet] [DeepLabv1 & DeepLabv2] [CRF-RNN] [SegNet] [ParseNet] [DilatedNet] [ DRN] [RefineNet] [GCN] [PSPNet] [DeepLabv3] [LC] [FC-DenseNet] [IDW-CNN] [SDN]

Сегментация биомедицинских изображений[CUMedVision1] [CUMedVision2 / DCAN] [U-Net] [CFS-FCN] [U-Net+ResNet] [MultiChannel] [V-Net] [3D U-Net] [M²FCN] [SA] [QSA+QNT] [3D U-Net+ResNet]

Сегментация экземпляров[SDS] [Гиперстолбец] [DeepMask] [SharpMask] [MultiPathNet] [MNC] [InstanceFCN] [FCIS]

Суперразрешение[SRCNN] [FSRCNN] [VDSR] [ESPCN] [RED-Net] [DRCN] [DRRN] [LapSRN & MS-LapSRN] [SRDenseNet]

Оценка позы человека[DeepPose] [Tompson NIPS’14] [Tompson CVPR’15] [CPM]

Постобработка кодеков[ARCNN] [Lin DCC'16] [IFCNN] [Li ICME'17] [VRCNN] [DCAD] [DS -CNN]