Магнитно-резонансная томография: мощный, но ограниченный ресурс
Смотрели ли вы когда-нибудь видео, в котором неопределенно обсуждается один из следующих вопросов: искусственный интеллект, нейробиология или сознание. Может быть, это было начало фильма о зомби, где объясняют, как началась вирусная вспышка. Если да, скорее всего, они проиграли клип, похожий на тот, что вы видите ниже (рис. 1). Этот GIF-файл проходит через срезы медицинского 3D-сканирования, называемого магнитно-резонансным изображением (МРТ).
Магнитно-резонансная томография (МРТ) широко используется в медицине из-за ее относительных преимуществ по сравнению с другими методами визуализации. Ценность трехмерной информации и высокая чувствительность МРТ делают ее мощным инструментом в медицине и часто золотым стандартом для диагностики многих заболеваний. Он малоинвазивен и, в отличие от КТ, не подвергает пациента воздействию ионизирующего излучения. Существует несколько «разновидностей» МРТ (то есть последовательностей T1, T2, DWI), которые обеспечивают разные контрасты для идентификации различных типов тканей (рис. 2).
Если у использования МРТ так много преимуществ, почему мой врач не назначил мне его, когда я пожаловался на боль в спине? Что, если это был диск соскользнул (лучше перестраховаться, чем потом сожалеть)? Частично ответ здесь тот же, почему МРТ не используется в большей степени во всей клинической практике:
i) Аппараты МРТ - недешевое оборудование (›10 ^ 6 долларов за штуку). Они также дороги в эксплуатации (например, стоимость услуг МРТ).
ii) МРТ занимает много времени.
Обе эти причины делают МРТ дефицитным ресурсом даже для самых хорошо финансируемых медицинских учреждений.
Как инженеры и ученые, мы могли бы задаться вопросом, можно ли удешевить производство МРТ или ускорить получение изображений? Судя по названию статьи, вы уже догадались, на каком из этих вопросов мы остановимся. Хотя гайки и болты, которые заставляют работать аппараты МРТ, - интересная тема, на сегодняшний день она выходит за рамки нашей компетенции.
Ускорение сканирования МРТ может не только снизить эксплуатационные расходы, но и улучшить качество обслуживания пациентов. Если вы когда-либо проходили МРТ, вероятно, это был не самый приятный опыт, который у вас был в тот день. Более того, для многих пациентов длина сканирования представляет собой более серьезную проблему. Люди с клаустрофобией могут испытывать высокий уровень беспокойства. Некоторым пациентам может быть трудно оставаться на месте (например, СДВГ, новорожденные), что может ухудшить качество изображения из-за появления артефактов движения [1]. Длительное время сканирования для пациентов с ограниченной способностью задерживать дыхание также представляет проблему.
Итак, как мы можем сканировать пациентов быстрее? Хотя параметры МРТ-сканирования можно настроить для более быстрого получения, это достигается за счет более низкого отношения сигнал / шум (SNR), более низкого разрешения или меньшего пространственного покрытия. Таким образом, задача уменьшения времени сканирования часто переформулируется как восстановление четкого изображения из зашумленного сигнала с низким разрешением. Большой прогресс в последние десятилетия был достигнут в исследованиях методов сжатого зондирования (отличное видеообъяснение здесь). Однако эти методы полагаются на необработанные данные МРТ (в k-пространстве), которые обычно недоступны, когда изображение используется в клинической практике. Таким образом, если радиолог обнаруживает, что МРТ имеет низкое качество (ниже клинического стандарта), ему обычно не остается ничего другого, кроме как заказать еще одно сканирование.
В этой статье мы представляем использование алгоритмов сверхвысокого разрешения (SR) в МРТ для экономичного улучшения качества изображения ретроспективно полученных сканирований. Затем мы также обсудим генеративные состязательные сети, которые представляют собой тип алгоритма SR, который недавно получил распространение для этой и многих других задач, связанных с изображениями.
Сверхвысокое разрешение изображения: CSI «Улучшение» в реальной жизни
Сверхразрешение изображения (SR) - это задача восстановления изображения с высоким разрешением (HR) из его аналога с более низким разрешением (LR) (рис. 3).
Методы SR можно разделить на два основных типа:
i) Реконструкция изображений HR из одного изображения LR (Single Image Super Resolution - SISR).
ii) Реконструкция изображений HR из множества изображений LR (Multi Image Super Resolution - MISR).
Хотя MISR имеет потенциал для лучших результатов, в контексте MRI мы обсудим SISR, поскольку получение MRIs, необходимых для MISR, не всегда возможно. Математически проблема СТО часто формулируется следующим образом:
Где D - отображение некоторой деградации от HR к LR. На процесс деградации может влиять ряд факторов (сжатие, шум от датчика и т. Д.), И он неизвестен в большинстве приложений SR. Поэтому модели, основанные на обучении с учителем, должны делать предположения о процессе деградации, чтобы генерировать LR-копии изображений HR. Такие методы называются слепым SR (неизвестная функция деградации) и чаще всего генерируют изображения LR посредством размытия (например, свертка с гауссовым ядром), понижающей дискретизации (например, бикубической интерполяции) и аддитивного (чаще всего гауссовского) шум (рис. 4).
Хотя такая формулировка функции деградации изображения является чрезмерным упрощением, хороших альтернатив не так много, поскольку истинный процесс деградации обычно неизвестен. Поскольку большинство методов SR полагаются на пары изображений HR-LR для обучения, тем не менее, это необходимый шаг.
Задача в SR состоит в том, чтобы изучить отображение, которое может генерировать изображение HR из соответствующего изображения LR в качестве входных данных, что соответствует исходному изображению HR.
Однако это некорректно поставленная проблема, поскольку обычно существует более одной приемлемой реконструкции HR для данного входа LR. Это становится более очевидным для реконструкций в более высоких масштабах (x8), поскольку необходимо заполнить больше информации об изображении. Эта неоднозначность также затрудняет эффективную оценку качества реконструкции. Восстановленное изображение HR может хорошо выглядеть, но при этом отличаться от исходного изображения HR. Методы SR обычно стремятся найти оптимальный набор параметров для этого сопоставления, чтобы минимизировать разницу между прогнозируемым HR и истинным HR-изображениями (ошибка реконструкции).
Многие методы SR включают в процедуру оптимизации элемент регуляризации, чтобы сократить пространство возможных решений. Это сделано для того, чтобы наложить некоторые предположения на структуру восстановленных данных HR (например, байесовские априорные). Однако эти предположения часто не поддаются обобщению на практике. Задача состоит в том, чтобы построить набор функций изображения, которые были бы достаточно абстрактными, чтобы уловить сложность отображения от LR к HR.
Как и в случае с большинством других задач компьютерного зрения, методы глубокого обучения (DL) в последние годы возглавляют SOTA (современное состояние) в этой области. Возможность масштабирования с большими объемами данных и непрерывного обучения не требует использования явных априорных значений и позволяет этим методам автоматически создавать более абстрактные функции изображения, которые лучше отображают изображения из LR в HR.
Первым методом DL, который превзошел более традиционные методы в SR, была сверточная нейронная сеть сверхвысокого разрешения (SRCNN) [2]. Здесь изображения LR сначала масштабируются с помощью бикубической интерполяции до разрешения изображений HR. Затем CNN непрерывно обучается на этих парах изображений HR и интерполированных LR изображений. В целом, SRCNN - это относительно простая трехуровневая CNN, оптимизированная за счет потерь MSE (рис. 5). В области SR было проведено значительное количество исследований, потому что этот метод показал, что методы DL подходят для этой задачи. Почти все последующие методы SR сравнивали свою производительность с SRCNN, отмечая его как своего рода контрольную точку для поля. Есть несколько замечательных обзорных статей, в которых суммируются последние достижения в этой области [3, 4].
Генеративные состязательные сети
В 2014 году Гудфеллоу и др. Сделали еще один большой шаг вперед в DL. al. за счет внедрения генеративных состязательных сетей (GAN). В этой статье представлена новая структура для обучения генеративных систем. Сети GAN привлекли к себе большое внимание, поскольку они способны выдавать очень реалистично выглядящие результаты при выполнении многих задач компьютерного зрения (рис. 6). В отличие от стандартного подхода к обучению единственной сети выполнению задачи с помощью некоторой метрики потерь, GAN обучают две сети одновременно в состязательной манере; генерирующая сеть и дискриминативная сеть. Генератор (G) при заданном вводе (z) стремится сгенерировать вывод (G (z)), который напоминает реальные данные из целевой домен. Входными данными (z) здесь может быть шум, который действует как образец скрытого распределения целевых данных или реальный образец из другого (исходного) домена. Дискриминатор (D) имеет задачу различать, является ли некоторый образец (x) реальным или искусственным (т. Е. Произведенным генератором) (рис. 7).
Что делает сети GAN уникальными и дает им возможность обучаться бесконтрольно, так это состязательный характер функции потерь, разделяемой обеими сетями. Две сети преследуют противоположные цели, так как успех одной сети действует как отрицательная обратная связь для другой. Это реализуется посредством минимаксной игры, в которой потеря дискриминатора направлена на максимизацию вероятности реальных данных (D (.)), Когда ввод является действительным (x), и минимизирует вероятность реальных данных, когда ввод является поддельным (G (z)) . Потеря генератора направлена на прямо противоположное и направлена на создание выходного сигнала, который очень похож на реальные данные, так что дискриминатор не может отличить их.
Преимущество этого типа потерь заключается в том, что они не делают никаких явных предположений о том, что отличает реальные данные от поддельных. Однако на практике GAN, как известно, сложно обучить, и сопутствующие потери обычно дополняются контролируемыми потерями (например, MAE / MSE) для стабилизации градиентного спуска.
Подобно тому, как SRCNN установила общую основу для задачи SRCNN еще в 2014 году, многие недавние методы используют SRGAN [7] в качестве нового стандарта для сравнительного анализа. Правильно названный SRGAN берет базовую концепцию генеративной состязательной сети (GAN) и применяет ее к задаче SR (рис. 8). Здесь генератор принимает изображение LR (z) в качестве входных данных и создает изображение HR (G (z)), реконструированное стандартными методами SR. Дискриминатор, с другой стороны, направлен на то, чтобы правильно обозначить, было ли изображение обработано генератором (поддельное) или это исходное изображение, полученное в HR (реальное).
GAN для SR в МРТ
В этом разделе мы кратко обсудим несколько интересных методов, которые используют GAN для SR MRIs. Это ни в коем случае не обширный список или исчерпывающий обзор современной литературы, это всего лишь несколько методов, которые привлекли наше внимание. Мы сосредоточимся на том, что отличает эти подходы от конкурирующих методов, а не на результатах.
Эффективное и точное сверхразрешение МРТ с использованием генерирующей состязательной сети и трехмерной многоуровневой плотно подключенной сети (Чен, Юхуа и др., 2018 г.)
При работе с объемными данными, такими как МРТ, методы DL, использующие все 3 измерения, обычно превосходят более традиционные методы 2D [8]. Подобно тому, как радиолог сходится к диагнозу, рассматривая содержимое нескольких срезов в унисон, CNN, которые используют трехмерное ядро, могут выполнять межсрезовые вычисления в дополнение к вычислениям только внутри срезов, выполняемым трехмерными свертками. Однако это недавно добавленное измерение приводит к гораздо большему количеству обучающих параметров для модели постоянной глубины и ширины. Больше параметров обучения означает большее потребление памяти и увеличение вычислительных затрат. Здесь авторы предлагают трехмерные многоуровневые плотно связанные сети сверхвысокого разрешения (mDCSRN) [9]. В этом методе используются плотные пропуски соединений (представленные в DenseNet [10]) для уменьшения размера модели при сохранении производительности. Чтобы объяснить концепцию DenseNet, мы сначала должны вспомнить ResNet [11]. Эта сеть предложила так называемый остаточный блок, который представляет собой модуль, который соединяет информацию на более раннем уровне сети с более глубоким уровнем. Плотные блоки в DenseNet расширяют эту идею дальше (рис. 9), соединяя каждый уровень со всеми предыдущими (без единого блока) слоями [10]. Это позволяет каждому слою сохранить доступ к большему количеству информации и поддерживать производительность с меньшим количеством карт объектов.
Авторы используют эту архитектуру модели, чтобы уменьшить большое количество параметров обучения, связанных с трехмерными свертками, при сохранении объема информации, содержащейся в каждом слое. Здесь они также улучшают свою предыдущую архитектуру (рис. 10), разбивая один плотный блок на несколько меньших блоков и рекурсивно применяя ту же идею (рис. 11). Это приводит к плотным соединениям, доступным на нескольких уровнях (между блоком и внутри блока).
В дополнение к тому, что упомянуто выше, mDCSRN улучшает своего предшественника (DCSRN), включая потерю GAN, чтобы устранить ограничения восприятия при восстановлении (например, MAE) потери. Эта модель была использована для обучения эффективной сети, использующей трехмерные свертки для МРТ SR (рис. 12).
Сверхразрешение произвольной шкалы для изображений МРТ головного мозга
(Maglogiannis et. al, 2020)
Основываясь на архитектуре SRGAN [7], авторы используют нетрадиционную стратегию обучения SR, которая была впервые представлена в [12]. В отличие от традиционной формулировки SR в DL, которая включает в себя серию сверточных фильтров для извлечения признаков, за которыми следует слой (-ы) повышающей дискретизации для прогнозирования изображения HR (рис.13), подход, принятый здесь, использует эти карты признаков для изучите матрицу повышающей дискретизации (W), передав ее во вторичную сеть прогнозирования веса (f) [13].
Хотя эта сеть не показывает увеличения производительности по сравнению с SRGAN, она предоставляет возможность использовать SR с нецелочисленными коэффициентами масштабирования (рис. 14), а также имеет на 98% меньший объем памяти, чем методы SOTA SR, такие как EDSR [14].
Большинство методов SR используют метрики контролируемых потерь в дополнение к состязательным потерям, чтобы стабилизировать обучение модели. Эти вспомогательные потери обычно выбираются как функция ошибок на каждый пиксель (например, MAE, MSE). Обратной стороной таких показателей потерь является то, что они не очень хорошо соответствуют тому, насколько похожи изображения на самом деле (разница в восприятии). Зрение приматов гораздо более чувствительно к резким градиентам интенсивности (т. Е. По краям), а не к постоянному смещению (рис. 15). Чтобы устранить это ограничение метрики потерь на каждый пиксель, авторы используют функцию потери восстановления функции, введенную Johnson et al. [15]. Вместо того, чтобы побуждать реконструированное изображение соответствовать каждому пикселю наземного истинного изображения, эта потеря вычисляет сходство двух изображений путем их сравнения на высоком уровне.
Предсказанные и наземные изображения подаются в предварительно обученную CNN (то есть VGG), а карты функций извлекаются из указанного слоя. Потери вычисляются путем взятия евклидова расстояния карт характеристик, созданных из двух изображений.
Суперразрешение и изображение с деградированными и модернизированными генерирующими состязательными сетями (Хуанг и др., 2020 г.)
В этой статье авторы предлагают GAN высокий-низкий-высокий (HLH) [16]. Название «высокий-низкий-высокий» происходит от способности этой модели не только изучать функцию восстановления, которая отображает LR в HR, но также неявно изучать процесс деградации изображения HR в LR с помощью стратегии циклического обучения. HLH GAN стремится решить не только проблему SR, но и проблему изображения в живописи в тандеме. Это оправдано потерей информации, наблюдаемой в реальных приложениях медицинской визуализации, где данные часто страдают от размытия движения, артефактов сжатия, шума сканера, неоднородности интенсивности, потери области и других ухудшений, которые возникают из-за многих внешних факторов, которые часто не возникают. учитывается традиционными методами СИ (например, рассеяние в КТ, вихретоковые искажения в фМРТ и т. д.).
Основная концепция этой стратегии циклического обучения была впервые предложена авторами CycleGAN [17]. В отличие от типичных GAN, которые изучают одно сопоставление исходного домена с целевым доменом,
CycleGAN одновременно изучает отображение и его обратное.
Преобразования в каждый домен изображения и из него моделируются с помощью двух дополнительных генераторов (G, F), которым рекомендуется отображать данные из исходного домена в целевой домен так, чтобы преобразованные данные были неотличимы от истинных. изображения целевого домена (рис. 16). Это достигается путем добавления двух соответствующих дискриминаторов через состязательную потерю. Обучение дополнительно стабилизируется за счет включения члена, который побуждает два генератора быть инвертированными по отношению друг к другу из-за потери согласованности цикла.
В SR это дает преимущество неявного изучения как отображения восстановления, так и функции деградации, без наивных предположений о фактическом процессе деградации. Это также ограничивает пространство решений, так что отображение можно инвертировать.
Преимущество этого типа архитектуры для SR (рис. 17) состоит в том, что вам не нужны парные данные LR HR. Предоставляя модели этого типа с двумя наборами данных (непарные LR и HR MRI), сеть может автоматически обучаться как восстановлению изображения (рис. 18), так и сопоставлениям деградации.
Проблемы и направления на будущее
Контрольные наборы данных
Одним из наиболее важных аспектов любой области, такой как SR, является возможность эффективно сравнивать различные подходы к решению одной проблемы. Обычно это принимает форму стандартизированного эталона, который принимается исследовательским сообществом по мере развития области. Обеспечение единообразия данных обучения и тестирования при использовании нескольких методов необходимо для точной оценки эффективности новых исследований и достижения устойчивого прогресса в этой области. В то время как исследование SR естественного изображения имеет несколько хорошо установленных критериев (например, BSD, Набор 4, Набор 15 [18–20]), подполе SR, направленное на восстановление данных медицинских изображений, еще не приняло такой критерий. Частично это связано с трудностью получения парных данных медицинских изображений HR LR.
Некоторые исследователи приняли общедоступные наборы данных медицинских изображений (например, IXI, HCP), предназначенные для решения других задач, для оценки своих методов SR (с использованием собственного моделирования деградации изображений). Однако это еще не получило широкого признания в этой области. Недавние попытки решить эту проблему были предприняты на конференциях, таких как fastMRI [21] и AccelMR [22]. Задача fastMRI предоставляет общедоступные данные МРТ, специально предназначенные для оценки качества реконструкции МРТ. Однако это основано на данных в k-пространстве, которые не всегда доступны во время клинического применения. Задача AccelMR предоставляет участникам парные данные МРТ, полученные в трех разных разрешениях с одинаковым полем зрения. Это идеально подходит для обучения SR на данных МРТ, поскольку не нужно делать никаких предположений относительно деградации изображений HR в пространство LR. Эта задача все еще довольно новая (начата в 2020 году) и предоставляет участникам только 45 МРТ для обучения и 5 для тестирования с одного сканера. Хотя этот набор данных слишком мал, чтобы окончательно проверить границы возможностей DL для SR, это большой шаг вперед для этой области и может ускорить продвижение SR для медицинской визуализации. Подобные организованные мероприятия могут быть чрезвычайно ценными, поскольку они могут предоставить ценные данные и экспертную оценку, необходимую для эффективного сравнительного анализа, которую иначе получить трудно.
Цели оптимизации
Еще одна проблема в этой области - отсутствие надежных показателей для оценки качества восстановления изображения. Популярные количественные показатели, оценивающие реконструкцию изображения, такие как MAE, PSNR и SSIM, не всегда соответствуют той же величине разницы в восприятии, которая наблюдается при реконструкциях. Умные функции потерь (например, потеря восприятия [15]) могут обеспечить более абстрактное сравнение изображений для обучения модели, однако в них нет ничего, что по существу указывает на точную реконструкцию изображения. Отсутствие показателей качества характерно не только для СР для МРТ, медицинский характер этого приложения добавляет дополнительные сложности. Для одной МРТ воспринимаемое качество реконструкции может показаться приемлемым для кого-то, кто не знаком с этими изображениями, но не обязательно для радиолога, который ищет очень специфический набор функций, необходимых для точного диагноза. Такие задачи, как fastMRI и AccelMR (упомянутые выше), позволяют оценить методы реконструкции с использованием средней оценки мнения (MOS) от группы радиологов. Такой метод оценки часто используется в качестве золотого стандарта в задачах медицинского изображения и предпочтительнее простых количественных показателей.
Парные и непарные данные обучения
Как упоминалось во введении, оценка LR из данных изображения HR включает в себя предположения о процедуре ухудшения качества. Однако эти предположения не всегда соответствуют реальным приложениям, а методы, обученные с использованием одного метода деградации, не обязательно являются обобщающими. Авторы mDCSRN, например [8], генерируют пары изображений HR LR путем преобразования изображения HR в k-пространство, усечения внешних частей каждой оси и преобразования обратно в исходное пространство изображения с помощью обратного БПФ и интерполяции. Если парные LR HR MRI недоступны, будущие методы должны быть нацелены на моделирование деградации от HR к данным LR MRI. Однако это не единственное решение. Отказ от обучения с учителем снимет потребность в парных данных HR LR. Неконтролируемые функции потерь, такие как состязательная потеря или потеря согласованности цикла (CycleGAN [17]), могут неявно изучать отображение от LR к HR, не предполагая функцию деградации.
Модель и размер данных
Другой аспект SR в медицинской визуализации, который отличает его от более популярной проблемы SR естественного изображения, - это размер данных. Данные МРТ являются объемными, с несколькими сотнями пикселей в каждом измерении, в отличие от естественных изображений, которые представляют собой двухмерные массивы с 3 каналами (RGB). Эти трехмерные данные часто используются в сочетании с трехмерными свертками, чтобы в полной мере использовать объемную информацию. Обычно это требует большего объема памяти, тем самым ограничивая размер модели (меньше параметров обучения) и приводя к снижению производительности (чем глубже, тем лучше для методов DL). Хотя можно опустить дополнительное измерение и просто извлечь 2D-фрагменты из сканирования, это приведет к потере ценной информации и может вызвать неестественные межсрезовые разрывы.
Надежные процедуры оценки
Одна из, если не самая большая проблема сверхвысокого разрешения в медицинской визуализации, - получение ложноотрицательного результата. Учитывая, что подавляющее большинство данных медицинских изображений относится к нормальной ткани, метод DL, обученный для SR МРТ, может быть смещен в сторону восстановления этого класса большинства и не будет иметь данных, отображающих патологию. Для пациента с аномалией, изображенной на сканировании, этот классовый дисбаланс может привести к неправильному отрицательному диагнозу (ничем не примечательным результатам). Этот феномен был отмечен во время испытания NeurIPS 2019 FastMRI, где наиболее эффективные модели (на основе SSIM) прошли качественную оценку радиологами, которые обнаружили, что эти методы не позволяют реконструировать небольшие аномалии, такие как разрывы мениска и субхондральные остеофиты. Это неудивительно, поскольку небольшие регионы не вносят значительного вклада в общий PSNR или SSIM. Одним из возможных решений является чрезмерная выборка патологических областей или увеличение веса участков изображения, отображающих аномалию / патологию во время тренировки. Однако это потребует ручного аннотирования каждого изображения в наборах данных для обучения и тестирования, что чрезвычайно трудоемко и дорого.
Дальнейшие исследования должны быть направлены на устранение этих небольших, но важных особенностей. Один из примеров такого метода был представлен (Cheng, Caliva et. Al., 2020), в котором предлагается состязательная атака на генератор SR. Подобно состязательному обучению в GAN, здесь злоумышленник стремится максимизировать потери генератора, внося небольшое возмущение в данные. Такие атаки призваны гарантировать, что сеть, ответственная за реконструкцию, способна к генерализации в случае небольших редких отклонений.
Чтобы SR можно было уверенно использовать в клинических приложениях, будущие методы должны гарантировать, что изображения способны реконструировать особенности и структуры, необходимые для конкретных диагностических задач. Это непростая задача, поскольку для этого требуются данные тестирования с известными и аннотированными аномалиями в сочетании с оценочной метрикой, которая основана не только на простых количественных показателях (PSNR / SSIM), но, что более важно, способна измерить способность радиолога выполнять точный диагноз с использованием реконструированных Данные МРТ.
Заключение
SR может значительно повысить полезность МРТ. Уменьшая время сканирования без потери диагностической точности, мы можем снизить эксплуатационные расходы (например, затраты на техников МРТ) и увеличить доход (больше пациентов в день). Это приносит пользу не только учреждению, но и пациенту. Снижение затрат, вероятно, будет переложено на пациента, если у него нет страховки или если страховка не покрывает процедуру. Если время сканирования не изменится, это также может повысить точность диагностики за счет предоставления практикующим врачам более качественных изображений. Если протокол получения МРТ будет ускорен, сокращение времени, которое человек должен проводить в сканере, также приведет к улучшению впечатлений пациента.
Если вы все еще не уверены, просто представьте себя ... застрявшим в громкой и вызывающей клаустрофобию трубке ... на час ... без смартфона. Разве не было бы неплохо, если бы вы могли получить эту важную информацию о своем здоровье… хоть немного быстрее?
использованная литература
[1] Ирани, Михал и Шмуэль Пелег. «Анализ движения для улучшения изображения: разрешение, окклюзия и прозрачность». Журнал визуальной коммуникации и представления изображений 4.4 (1993): 324–335.
[2] Донг, Чао и др. «Сверхвысокое разрешение изображения с использованием глубоких сверточных сетей». Транзакции IEEE по анализу образов и машинному интеллекту 38.2 (2015): 295–307.
[3] Ян, Венминг и др. «Глубокое обучение для сверхвысокого разрешения одного изображения: краткий обзор». Транзакции IEEE в мультимедиа 21 декабря (2019 г.): 3106–3121.
[4] Ван, Чжихао, Цзян Чен и Стивен Ч. Хой. «Глубокое обучение для сверхвысокого разрешения изображений: обзор». Транзакции IEEE по анализу шаблонов и машинному анализу (2020 г.).
[5] Чжу, Цзюнь-Янь и др. «Непарный преобразование изображения в изображение с использованием согласованных по циклу состязательных сетей». Материалы международной конференции IEEE по компьютерному зрению. 2017 г.
[6] Ван, Куньфэн и др. «Генеративные состязательные сети: введение и перспективы». IEEE / CAA Journal of Automatica Sinica 4.4 (2017): 588–598.
[7] Ледиг, Кристиан и др. «Фотореалистичное одиночное изображение со сверхвысоким разрешением с использованием генеративной сети противоборства». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2017 г.
[8] Чен, Юхуа и др. «МРТ головного мозга в сверхвысоком разрешении с использованием трехмерных нейронных сетей с глубокими плотными связями». 15-й Международный симпозиум по биомедицинской визуализации IEEE 2018 (ISBI 2018). IEEE, 2018.
[9] Чен, Юхуа и др. «Эффективное и точное сверхвысокое разрешение МРТ с использованием генеративной враждебной сети и многоуровневой трехмерной сети с плотными связями». Международная конференция по медицинской обработке изображений и компьютерному вмешательству. Спрингер, Чам, 2018.
[10] Хуанг, Гао и др. «Плотно связанные сверточные сети». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2017 г.
[11] Хе, Кайминг и др. «Глубокое остаточное обучение для распознавания изображений». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2016 г.
[12] Ху, Сюэцай и др. «Meta-SR: сеть с произвольным увеличением для сверхвысокого разрешения». Материалы конференции IEEE / CVF по компьютерному зрению и распознаванию образов. 2019.
[13] Тан, Чуань и Цзинь Чжу. «Сверхразрешение произвольного масштаба для изображений МРТ головного мозга». Международная конференция IFIP по приложениям и инновациям в области искусственного интеллекта. Спрингер, Чам, 2020.
[14] Лим, Би и др. «Расширенные глубокие остаточные сети для сверхвысокого разрешения одного изображения». Материалы конференции IEEE по компьютерному зрению и семинарам по распознаванию образов. 2017 г.
[15] Джонсон, Джастин, Александр Алахи и Ли Фей-Фей. «Потери восприятия для передачи стиля в реальном времени и сверхвысокого разрешения». Европейская конференция по компьютерному зрению. Спрингер, Чам, 2016.
[16] Хуанг, Явен и др. «Супер-разрешение и рисование с деградированными и обновленными генеративными». Материалы двадцать девятой международной совместной конференции по искусственному интеллекту. 2020 г.
[17] Чжу, Цзюнь-Янь и др. «Непарный преобразование изображения в изображение с использованием согласованных по циклу состязательных сетей». Материалы международной конференции IEEE по компьютерному зрению. 2017 г.
[18] Мартин, Дэвид и др. «База данных сегментированных природных изображений человека и ее применение для оценки алгоритмов сегментации и измерения экологической статистики». Материалы восьмой Международной конференции IEEE по компьютерному зрению. ICCV 2001. Vol. 2. IEEE, 2001.
[19] Бевилаква, Марко и др. «Несложное сверхразрешение одного изображения на основе неотрицательного встраивания соседей». (2012): 135–1.
[20] Зейде, Роман, Майкл Элад и Матан Проттер. «При увеличении масштаба одного изображения с использованием разреженных представлений». Международная конференция по кривым и поверхностям. Шпрингер, Берлин, Гейдельберг, 2010 г.
[21] Zbontar, Jure, et al. «FastMRI: открытый набор данных и тесты для ускоренной МРТ». Препринт arXiv arXiv: 1811.08839 (2018).
