Мнение
Ускорение получения МРТ: проект FastMRI от Facebook
Как это работает и насколько это безопасно?
Два года назад Facebook объявил о сотрудничестве своего отдела исследований в области искусственного интеллекта и Медицинской школы Лангоне при Нью-Йоркском университете и назвал проект fastMRI. Их цель? Сделайте МРТ значительно быстрее. В недавней публикации [1] говорится, что время сбора данных может быть ускорено в 4-8 раз с использованием подхода глубокого обучения при реконструкции изображений без потери качества изображения. Практически это означало бы сделать МРТ колена примерно за 5 минут, что довольно быстро. В этом блоге я отвечу на два важных вопроса: «Как они это делают?» и "Это безопасно?"
Фон
Оценка аномалий анатомических структур - основа традиционной радиологии. В клинической практике диагностическое изображение оценивается на наличие признаков изображения, которые отличаются от «нормального» по отношению к системе координат наблюдателя. Проще говоря, чем выше разрешение изображения (при неизменном соотношении сигнал / шум), тем легче рентгенологу точно оценить эти изображения.
В основном качество изображения можно рассматривать как функцию количества информации и шума, полученных во время получения этого изображения. Как правило, можно получить больше информации, если во время сбора данных будет использовано больше энергии. Для МРТ на практике это означает, что увеличение либо силы магнитного поля, либо времени сбора данных может быть неудобным для пациентов (и дорогостоящим, поскольку время МРТ ограничено в клинической практике).
Было разработано несколько алгоритмов для увеличения разрешения изображения (на самом деле, методы часто направлены на ускорение времени получения при сохранении качества изображения), например сжатое зондирование. Неудивительно, что с ростом применения искусственного интеллекта в медицине глубокое обучение для повышения качества изображения также стало темой нескольких исследований [2].
Одна из моих главных проблем: «Безопасны ли эти методы?». По сути, эти модели глубокого обучения обучены находить «дополнительный сигнал изображения» без дополнительных затрат энергии. Но откуда этот сигнал? Смогут ли эти модели реконструировать анатомию пациента или они будут имитировать общие анатомические паттерны пациентов, включенные в данные обучения (и, следовательно, потенциально отсутствующие диагнозы)? Чтобы добраться до сути, я проанализирую недавно опубликованную работу fastMRI, чтобы понять, что происходит в этих алгоритмах.
Классический подход к ускорению МРТ
Магнитно-резонансная томография - это сложный метод, основанный на магнитных свойствах протонов. Я не буду описывать внутреннюю работу МРТ, но в основном во время сбора данных используются радиочастотные импульсы, чтобы повлиять на выравнивание протонов по магнитному полю. Когда протоны возвращаются в свое равновесное состояние, высвобождается энергия, которая измеряется приемными катушками. Эти измерения представлены в пространственно-частотной области (называемой k-пространством). Применяя математическое преобразование (называемое обратным преобразованием Фурье), это k-пространство может быть преобразовано в МР-изображение в том виде, в каком мы его знаем. Для простоты я буду называть k-пространство необработанными данными (изображениями).
Как правило, получение большего количества необработанных данных повышает качество изображения, но также увеличивает время сбора. Как было сказано ранее, сокращение времени сканирования удобно для пациента и позволяет сканировать большее количество пациентов за то же время (сокращение списка ожидания и снижение затрат на сканирование МРТ). До эры глубокого обучения были предложены два основных метода ускорения МРТ-сканирования: параллельная визуализация и сжатое зондирование. При параллельной визуализации используются несколько катушек приемника (которые представляют собой просто устройства, которые принимают сигнал во время сканирования МРТ), после чего изображения объединяются с использованием карт чувствительности. Каждая катушка должна отбирать только часть данных, сокращая время сбора данных.
Второй метод, сжатое зондирование (CS), представляет собой метод реконструкции изображения. Он основан на том, что изображения содержат много пикселей, в которых отсутствует уникальная информация. Например, фотографии можно значительно уменьшить в размере, используя такие форматы, как jpeg. CS рассуждает наоборот: возможно ли реконструировать МРТ-изображения только с редко отобранными необработанными данными и без потери качества по сравнению с тем, если бы были отобраны все необработанные данные? CS можно рассматривать как проблему оптимизации, которую можно решить с помощью методов итеративного градиентного спуска. [3] Основная проблема с реконструкцией изображений с редко отобранными необработанными данными заключается в том, что алгоритм реконструкции не может точно установить, из какой позиции в теле исходит сигнал. В результате можно увидеть артефакты сглаживания (или зацикливания), которые проецируют части анатомии в неправильные места.
Ускорение МРТ с помощью глубокого обучения
Недавно для оптимизации подхода CS было использовано глубокое обучение. CS работает только в том случае, если необработанные данные выбираются случайным образом. Однако из-за характера (наиболее часто используемого) метода отбора проб в МРТ (2D декартова выборка) выполнение этого может быть затруднено. Еще одна проблема - это большое количество времени, необходимого для восстановления изображений. Кроме того, настройка гиперпараметров (особенно регуляризации) является сложной задачей и имеет серьезные последствия для практичности изображений; чрезмерная регуляризация приводит к сглаживанию неестественно выглядящих изображений, в то время как недостаточно регуляризованные изображения по-прежнему демонстрируют артефакты, такие как наложение спектров.
Методы глубокого обучения направлены на решение этих задач: реконструировать изображения из необработанных данных с недостаточной выборкой без выполнения ограничений CS и путем динамического изучения параметров регуляризации. Основное различие между подходами глубокого обучения и классической CS заключается в том, что в классической CS каждая реконструкция изображения рассматривается как новая задача оптимизации. Новые подходы к глубокому обучению используют информацию об ожидаемом внешнем виде анатомии и известных паттернах артефактов, изученных во время обучения. Идея состоит в том, что во время логического вывода данные с недостаточной выборкой могут быть восстановлены с помощью модели, которая намного быстрее, чем классический подход [4].
Вариационная сеть
FastMRI основан на вариационной сети (VarNet), как описано Hammernik et al. [4]. VarNet содержит неглубокую сверточную нейронную сеть (CNN), параметры которой изучаются в процессе обучения с итеративными шагами. VarNet использует несколько приемных катушек и объединяет информацию всех катушек (на основе карт чувствительности) на этапе восстановления. Однако для простоты мы игнорируем множественные входные данные и карты чувствительности.
Вход в сеть - это необработанные данные с редкой выборкой. Во время первого прямого прохода все необработанные данные, не прошедшие выборку, заполняются нулями. Эти заполненные нулями данные преобразуются в изображение. Изображение и данные с редкой выборкой передаются в сеть.
На каждом этапе изображение обновляется двумя способами (см. Рисунок 1b). Один путь вычисляет разницу между изображением предыдущего прямого прохода (преобразованный Фурье в его представление необработанных данных) и исходными входными необработанными данными; любые различия (умноженные на вес λ, характерный для этого прямого прохода) вычитаются из изображения. Параллельно входное изображение сопоставляется с выходным изображением той же формы с помощью неглубокой CNN с нелинейной функцией активации, которые суммируются, а также вычитаются из входного изображения. В результате получается восстановленное выходное изображение, которое сравнивается с наземной истиной (МР-изображение, восстановленное обычным способом с полностью дискретизированными необработанными данными) путем оценки среднеквадратичной ошибки. С помощью градиентного спуска обновляются ядра и нелинейные функции активации CNN и веса λ. Эти шаги повторяются заранее заданное (T) количество раз.
FastMRI’s End-2-End-VarNet
Последняя работа в рамках проекта fastMRI описывает модель, основанную на исходной сети VarNet с несколькими архитектурными изменениями и названную End-2-End-VarNet. [1] Модель также использует несколько приемных катушек и, в отличие от оригинальной VarNet, использует архитектуру U-Net для оценки карт чувствительности для каждой приемной катушки. Хотя я пропущу эту часть, в результате калибровка различных катушек приемника может быть выполнена намного быстрее.
Другое главное архитектурное отличие - использование U-сети вместо неглубокой CNN во время каждого прямого прохода. На рисунке 2 схематично изображена архитектура алгоритма. Если мы проигнорируем оценку карты чувствительности, шаги будут аналогичны исходной VarNet. На каждом этапе процесса обучения разреженно выбранные необработанные данные передаются в сеть и обновляются блоком согласованности данных (DC) и уточнения (R). Блок DC сравнивает промежуточные необработанные данные (которые являются выходными данными предыдущего шага обучения) с исходными редко дискретизированными необработанными входными данными и штрафует за любые различия, внесенные во время предыдущих шагов обучения, умноженные на коэффициент λ. R-блок отображает входное изображение в изображение того же размера, используя архитектуру U-net. Промежуточные необработанные данные затем объединяются с выходом DC- и R-блока. В конце каждого шага обучения необработанные данные преобразуются в MR-изображение, которое сравнивается с достоверным изображением путем вычисления потери структурного подобия. Градиентный спуск используется для обновления параметров U-сети и коэффициента λ.
Функция потери структурного подобия отличается от среднеквадратичной ошибки (использованной в исходной статье VarNet для оптимизации) в том смысле, что она не только вычисляет различия в отдельных пикселях (что делает MSE), но также принимает во внимание воспринимаемые изменения в структурных характеристиках. информацию, сравнивая области изображения и принимая во внимание яркость, контраст и структуру. [5] (Хотя исходная статья VarNet не использовалась для оптимизации, в разделе результатов сообщается о потере структурного сходства).
Эффективность и клиническая полезность
Первоначальный VarNet был обучен на сканировании МРТ 10 пациентов и протестирован на сканировании 10 других пациентов. VarNet в значительной степени превзошел традиционные методы CS (реализованные несколькими поставщиками) в случае MSE и измерения индекса структурного сходства (SSIM). В документе также представлены некоторые наглядные наглядные примеры улучшений в отношении качества изображения и уменьшения артефактов в реконструкциях VarNet по сравнению с традиционными методами CS. Наиболее важным открытием было то, что модель смогла восстановить высококачественные изображения пациентов с патологией, отсутствующей в обучающих данных, что, конечно, необходимо при внедрении в клиническую практику.
End-2-End-VarNet смогла превзойти VarNet в случае SSIM. [1] Однако, хотя ошибка измерения, такая как SSIM, важна, необходимы клинические исследования для проверки выполнимости и безопасности этих алгоритмов на практике. Меня больше всего беспокоит то, что во время вывода информация об обучающих данных смешивается с текущими реконструкциями; в этом случае качество изображения будет довольно хорошим, хотя изображение не отражает истинную анатомию пациента. Кроме того, можно упустить небольшие отклонения, поскольку они могут быть интерпретированы моделью как шум и устранены во время вывода. К счастью, исследователи проекта fastMRI признают это ограничение и заявляют, что «количественные измерения дают только приблизительную оценку качества реконструкций, и необходимо провести тщательную клиническую проверку, прежде чем такие методы можно будет использовать в клинической практике, чтобы убедиться, что нет ухудшение качества диагностики ».
Недавно было опубликовано клиническое валидационное исследование [6], в котором заявлено об отсутствии потери диагностической точности с 3,5-кратным ускорением (при выборке только 75% исходных данных). Это соответствует времени получения МРТ примерно 5 минут, что весьма впечатляет. Модель была обучена на 242 МРТ-исследованиях коленного сустава, проверка была проведена на 56 МРТ-сканированиях, а тестовый набор содержал 108 МРТ-исследований. Главный результат исследования заключался в том, что согласие между разными радиологами в отношении наличия нескольких аномалий было одинаковым, если обоим были показаны стандартные клинические изображения, по сравнению с соглашением, если одному из радиологов были показаны ускоренные изображения. Авторы пришли к выводу, что последовательности изображений, таким образом, «взаимозаменяемы». Кроме того, субъективное качество изображений, восстановленных с помощью глубокого обучения, было лучше, и только один из шести читателей смог правильно различить стандартные и ускоренные изображения.
Заключение
Я ответил на вопросы об ускорении получения МРТ с помощью глубокого обучения и продемонстрировал многообещающие (клинические) результаты из научной литературы. Теперь пора ответить: безопасны ли эти алгоритмы и готовы ли они к использованию в клинической практике? На мой взгляд, нет (пока). Методы глубокого обучения многообещающие и, похоже, изучают сопоставление артефактов с не артефактами и наказываются, если выходные данные отличаются от исходных исходных входных данных. Однако, поскольку во время обучения визуальная информация об анатомических особенностях сохраняется в ядрах U-net, я все еще не полностью убежден, эта информация не влияет на анатомическое представление в изображениях МРТ. Я действительно должен отдать должное проекту fastMRI за их прозрачность. Полный код можно найти в Интернете на GitHub (https://github.com/facebookresearch/fastMRI), и исследователям предлагается опираться на работу fastMRI и проверять алгоритмы в новых (и более крупных) когортах пациентов. Исследовательская группа fastMRI надеется, что поставщики оборудования получат одобрение FDA для внедрения этих алгоритмов в производство, и я думаю, что это правильный путь.
Об авторе
Рик Краан - врач со степенью доктора радиологии, работающий специалистом по анализу данных в Vantage AI, консалтинговой компании в области науки о данных в Нидерландах. Свяжитесь с нами через [email protected]
использованная литература
[1] Шрирам А., Збонтар Дж., Муррелл Т. и др. Сквозные вариационные сети для ускоренной реконструкции МРТ. arXiv2004.06688v2
[2] Харви Х., Тополь Э.Дж. Больше, чем возможности ИИ: улучшение качества изображения и разрешения. Ланцет. 2020; 396 (10261): 1479.
[3] Дэвид Донохо. Сжатое восприятие. Протоколы IEEE по теории информации, 52 (4): 1289–1306, 2006.
[4] Керстин Хаммерник, Тереза Клацер, Эрих Коблер, Майкл П. Рехт, Дэниел К. Содиксон, Томас Пок и Флориан Кнолль. Изучение вариационной сети для реконструкции ускоренных данных МРТ. Магнитный резонанс в медицине, 79 (6): 3055–3071, 2018
[5] Оценка качества изображения: от видимости ошибок к структурному сходству Чжоу Ван, член IEEE, Алан Конрад Бовик, член IEEE, Хамид Рахим Шейх, студент-член IEEE, и Ээро П. Симончелли, старший член IEEE
[6] Член парламента Рехт, Збонтар Дж., Содиксон Д.К. и др. Использование глубокого обучения для ускорения МРТ колена при 3 тоннах: результаты исследования взаимозаменяемости. Американский журнал рентгенологии. Опубликовано онлайн 14 октября 2020 г.: 1–9
