[Резюме статьи] Биомедицинская сегментация изображений и обнаружение объектов: UOLO

В этом рассказе представлено UOLO - автоматическое обнаружение и сегментация объектов в биомедицинских изображениях, разработанное INESC TEC и Faculdade de Engenharia da Universidade do Porto. Это опубликовано как технический отчет DLMIA за 2018 год. В этой статье предлагается UOLO (рис. 1), новая структура для одновременного обнаружения и сегментации интересующих структур на медицинских изображениях.

UOLO - это сеть для одновременного обнаружения и сегментации объектов на медицинских изображениях. Преимущество использования аннотационных данных для сегментации состоит в том, что высокая эффективность обнаружения может поддерживаться даже с небольшими объемами данных изображения.

Обнаружение и сегментация анатомических структур - это основная задача анализа медицинских изображений, поскольку она позволяет определять области интереса (ROI), создавать ориентиры и улучшать набор функций. После определения ROI сегментация объектов становится проще.

Что касается сегментации, то глубокие полностью сверточные нейронные сети обеспечивают высочайшую производительность при решении самых разных задач и изображений. Преимущество UNet заключается в более надежном анализе с меньшим количеством обучающих данных из-за его структуры автоматического кодирования.

Модель обнаружения - это подход, который использует предварительно обученные сети с большими наборами данных естественных изображений в качестве экстракторов признаков для модуля обнаружения, например Faster R-CNN и YOLOv2. В YOLOv2 , активация для каждой области из предварительно обученных весов используется непосредственно для прогнозирования координат и меток области интереса.

Аналогичной сетью, сочетающей модели обнаружения и сегментации, является Mask-R CNN. В этой архитектуре модуль сегментации и модуль обнаружения разделены. Следовательно, часть сегментации отвечает только за предсказание масок, а маски маркируются модулем обнаружения по классам. Несмотря на высокую производительность, эта модель имеет ограниченное применение в задачах анализа медицинских изображений. Он недоступен для медицинских приложений, поскольку требует большого количества данных, аннотированных на уровне пикселей.

UOLO - это модель, которая объединяет модуль сегментации UNet и модуль обнаружения объектов YOLOv2. В основе этой идеи лежит то, что абстракции, изученные на уровне декодера UNet, содержат многомасштабную информацию, которая полезна не только для сегментации объектов, но и для обнаружения объектов. Одним из основных преимуществ UOLO является то, что он использует модули обнаружения и сегментации для обеспечения надежных и эффективных прогнозов с использованием небольшого количества обучающих данных.

Наброски

Модуль сегментации объектов
Модуль обнаружения объектов
Совместное обнаружение и сегментация объектов
Экспериментальные результаты

1. Модуль сегментации объекта

В UOLO улучшена сеть U-Net для сегментации объектов; Добавляем пакетную нормализацию после каждого сверточного слоя и заменяем объединяющий слой строгим сверточным слоем. Функция потерь UNet вычисляет потери между наземной маской истинности и маской прогнозирования, используя мягкое пересечение по объединению (IoU).

2. Модуль обнаружения объектов.

Для обнаружения объектов UOLO использует идею YOLOv2 для достижения двух целей.

(1) Извлечение функций из изображений (F_YOLO)

(2) Блок интерпретации признаков, который прогнозирует как метку, так и ограничивающую рамку целевого объекта (D_YOLO)

В UOLO модуль сегментации становится модулем извлечения признаков, выполняющим роль F_YOLO, который является входом в блок интерпретации признаков D_YOLO .

YOLOv2 также научился оптимизировать функцию потерь: λ1 корректирует ошибки в центральном положении, λ2 корректирует неправильный размер, то есть высоту и ширину, λ3 корректирует неверное предсказание существования бокса, а λ4 корректирует неправильная классификация объекта.

3. Совместное обнаружение и сегментация объектов.

Фреймворк UOLO реализует как обнаружение объектов, так и сегментацию одновременно, поведение UOLO показано в алгоритме 1. Интересная особенность UOLO заключается в том, что в отличие от Mask R-CNN и других, как показано на рисунке 3, модуль сегментации сам становится модулем сегментации. модуль извлечения признаков, который берет на себя роль обнаружения объектов (F_ YOLO) и является входом для блока интерпретации признаков (D_ ЙОЛО).

Модуль сегментации UOLO (M_ U-Net) берет пару изображений RGB и наземных истинных изображений и тренирует сегментацию, минимизируя функцию потерь ( L_ U-Net).

M _U-Net получается путем объединения узкого места (последнего слоя кодировщика) и карты декодирования с субдискретизацией для получения тензора. Получение выходных данных из выходных тензоров на каждом слое, F _YOLO (тензор на рис. 3, 16 * 16 * 1672) и блока интерпретации признаков D _YOLO (тензор 3, 16 * 16 * 2 * 7) и оптимизацию функции потерь (L _YOLO).

Блок интерпретации функций (D _YOLO) и модуль сегментации (M _U-Net) объединяются в M _UOLO, которая представляет собой единую модель, оптимизированную путем минимизации добавления соответствующей функции потерь.

4. Экспериментальные результаты.

На следующем рисунке 4 и в двух таблицах показано, что абстракции, полученные с помощью UOLO, очень эффективны при решении проблем: первая таблица показывает сравнение с современными методами, а вторая таблица показывает результаты UOLO для обнаружения OD и сегментация и обнаружение БС. На рисунке 4 показаны два примера сложных прогнозов обнаружения и сегментации при использовании UOLO. UOLO обучается на наборе данных Messidor.

На рис. 4 показаны результаты UOLO на изображениях Messidor. Зеленая кривая: сегментированный диск зрительного нерва (OD), зеленый и синий прямоугольники: прогнозируемые местоположения OD и FV, соответственно; черная кривая: наземная сегментация OD; черные и синие точки: наземные точки OD и FV соответственно. Рядом с каждым полем отображается степень достоверности обнаружения объекта. Также показаны значения IoU (пересечение над объединением) и нормализованное расстояние (D¯).

UOLO обеспечивает производительность, равную или превосходящую существующие ведущие методы как для задач обнаружения, так и для сегментации (IoU 0,88 ± 0,09 на Messidor). Таким образом, показано, что абстракции, изученные в модуле сегментации, эффективны при решении проблем не только в задаче сегментации, но также и в задаче обнаружения объектов.

Кроме того, UOLO надежен при использовании небольшого количества изображений с попиксельными аннотациями, поддерживая как сегментацию, так и производительность обнаружения; обучение UOLO путем уменьшения количества аннотированных изображений в наборе данных Messidor на 15% с 680 до 100 аннотированных изображений, при этом сохраняя производительность сегментации и обнаружения, как показано в таблице. Производительность сегментации и обнаружения не изменилась. Это означает, что UOLO не требует больших объемов попиксельных аннотаций, что облегчает его применение в области медицины, где получение этих аннотаций может быть очень дорогостоящим.