Вступление
Одна из самых больших проблем в области сегментации медицинских изображений - получение достаточного количества данных по различным задачам, необходимым для развертывания эффективных моделей глубокого обучения. Помеченные данные требуют громоздкого процесса ручного аннотирования, который, как правило, может выполняться только специалистами со значительным опытом. Действительно, тонкость медицинской визуализации делает эту работу задачей опытных радиологов.
Однако в последние годы были разработаны новые методы, позволяющие обойти такие проблемы, а именно использование синтеза данных и методов обучения с разнородной передачей.
Синтез данных
Техника синтеза данных - это форма увеличения данных, хотя и чрезвычайно сложный способ выполнения увеличения данных. Процесс включает синтез помеченного набора данных из одного помеченного обучающего примера и других немаркированных обучающих примеров.
Производительность проведения синтеза данных впечатляет - она намного превосходит одноразовые методы. Однако его производительность по-прежнему значительно хуже, чем у размеченных вручную «наземных» обучающих наборов. Даже с его более низкими характеристиками по сравнению с достоверными данными, синтез данных и другие процедуры, тем не менее, имеют свое место.
Эта проблема
Модели глубокого обучения с учителем остаются последним словом в решении проблем семантической сегментации. Однако такие модели требуют большого количества вручную помеченных изображений для набора данных. Кроме того, проблема получения помеченных наборов данных только усугубляется различиями в интенсивности изображений и другими шумами, возникающими из-за различий между машинами, используемыми для сбора таких изображений.
В результате многие наборы данных клинических изображений остаются слишком маленькими для контролируемых моделей. Таким образом, в качестве средства решения этой проблемы была разработана методика синтеза помеченных наборов данных. Это поможет преодолеть нехватку данных в медицинских областях, особенно в тех случаях, когда профессионалы сталкиваются с ограничениями по времени и рабочей силе.
Другие попытки увеличения данных
Различия между медицинскими изображениями незначительны, основная разница заключается в различной степени интенсивности изображения и внешнего вида тканей.
Методы увеличения данных пытались имитировать такие различия, чаще всего с помощью настраиваемого вручную увеличения и случайных функций увеличения (то есть переворачивания или деформации. Однако такие грубые методы оказались в значительной степени неэффективными при моделировании различий между медицинскими изображениями. Таким образом, возникла потребность в более сложной процедуре пополнения данных.
Процедура синтеза данных посредством усвоенных преобразований
Методика синтеза данных использует изученную модель пространственного преобразования, изученную модель преобразования внешнего вида, по крайней мере, один атлас и множество немаркированных изображений для создания новых маркированные данные обучения и проверки, которые фиксируют анатомическое разнообразие и разнообразие изображений на немаркированных изображениях.
Давайте распутаем это:
- Модель пространственного преобразования фиксирует анатомические различия между испытуемыми. Использует архитектуру U-Net.
- Модель преобразования внешнего вида учитывает вариации интенсивности между изображениями. Он также использует архитектуру U-Net.
- Атлас, также известный как маркированный справочный том, представляет собой x-значение маркированного обучающего примера.
Процедура проиллюстрирована следующим образом:
- Чтобы обучить модель пространственного преобразования, загрузите немаркированное изображение и атлас (значение x для помеченного примера) в модель пространственного преобразования, которая выводит изображение. Выходные данные оцениваются по типу потери сходства изображений с немаркированными входными данными, и сеть оптимизируется.
- Аналогично (1), чтобы обучить модель преобразования внешнего вида, введите атлас и деформированное изображение без метки. Затем наложите преобразование внешнего вида (представляющее яркость изображения) на атлас. Оптимизируйте это с помощью функции потерь, содержащей потерю сходства изображения между конечным результатом и деформированным немаркированным изображением, а также термин регуляризации, который штрафует резкие изменения интенсивности.
- Примените модели преобразования из (1) и (2) для создания выборочного пространственного преобразования и выборочного преобразования внешнего вида из немаркированных изображений. Модели работают лучше всего, когда немаркированные изображения (пространственные цели и объекты внешнего вида) взяты из разных изображений (т. Е. Смешанные и совпадающие).
- Примените эти выбранные преобразования к атласу и его метке, чтобы синтезировать помеченный обучающий пример. Преобразование внешнего вида применяется только к атласу, так что новое изображение может содержать различия в интенсивности, но не на новой метке, поскольку метка является просто сегментацией, указывающей местоположение (интенсивность не применяется).
После итерации этого процесса создается набор данных, который затем используется для обучения и оценки контролируемой модели глубокого обучения, которая выводит надежную сегментацию входного изображения.
Полученные результаты
Использование простой контролируемой модели, допускаемой этим новым подходом к синтезу данных, превосходит методы одноразовой сегментации, а также другие контролируемые модели, использующие другие методы увеличения данных. Кроме того, сочетание метода синтеза данных с настраиваемым вручную увеличением случайных данных (rand-aug) еще больше повышает производительность.
Однако, как показано в таблице ниже, даже несмотря на то, что этот метод является значительным улучшением методов увеличения данных для задач сегментации, он не заменяет полностью помеченный набор данных (верхняя граница).
Гетерогенное трансферное обучение
Таким образом, акцент смещается на методы, с помощью которых мы можем уменьшить размер необходимого набора данных. Лучшим методом для этого, возможно, является трансферное обучение, которое является жизненно важным источником любого децентрализованного проекта глубокого обучения.
Однако трансферное обучение по-прежнему требует большого количества данных для обучения базовых моделей. Это особенно актуально в медицинском секторе, в частности в области трехмерной медицинской сегментации, из-за трудоемкости ручного аннотирования. В результате по данной задаче существует мало существенных наборов данных.
Таким образом, преобладающие подходы к 3D-сегментации заключались в обучении с нуля или переносе обучения из несвязанного набора данных Kinetics (в основном ImageNet для видеоматериалов).
Однако медицинская визуализация оказывается более тонкой, чем задачи распознавания компьютерного зрения. Например, небольшие различия во внешнем виде тканей (то есть слегка неправильная опухоль) могут означать разницу между легкой или агрессивной опухолью.
Таким образом, не имея единого существенного источника данных, авторы статьи Med3D собрали наборы данных по разным органам и патологиям, чтобы создать неоднородную 3D-модель, используя специальные методы нормализации. В результате производительность сетей, настраивающих эту модель Med3D, оказывается значительно лучше, чем у других процедур.
Заключение
В этом посте описывалась проблема нехватки данных в медицинских областях и известные методы, пытающиеся обойти или уменьшить потребность в накоплении массивных наборов данных.
Синтез данных с помощью метода изученных преобразований играет важную роль при отсутствии данных в тех случаях, когда ограничения по времени и нехватка рабочей силы являются ключевыми проблемами. Таким образом, синтез данных остается альтернативой размеченным, достоверным наборам данных, независимо от того, вводятся ли они напрямую или через трансферное обучение.
Однако для тех, у кого есть ресурсы для накопления значительного набора данных для непосредственного обучения контролируемой модели, трансферное обучение играет незаменимую роль. Лучше всего, чтобы базовые модели, используемые для трансферного обучения, были непосредственно применимы к поставленной задаче, но даже гетерогенная модель, такая как Med3D, может сыграть ключевую роль в сокращении объема необходимых данных и повышении производительности.
Было бы интересно увидеть результаты объединения этих двух разрозненных методов - модели, предназначенной для передачи обучения, которое обучается на синтезированном наборе данных, - но до тех пор методы синтеза данных и передачи обучения являются ключевыми средствами решения проблем при получении данных в биомедицинские, а также другие области.
