Слабая сегментация сосновых позвонков на основе обучения на 3D-изображениях компьютерной томографии

Маркировка наборов данных требует больших затрат. В этом исследовании исследуются методы снижения стоимости маркировки наборов данных за счет работы с точечной аннотацией вместо полной аннотации. Я демонстрирую два новых компонента потерь и комбинацию результатов различных моделей для создания псевдомасок на основе общедоступных наборов данных. Наконец, можно получить 72 % обратно взвешенной оценки полностью аннотированной модели при примерно 12 % стоимости маркировки.

Эта статья основана на моей магистерской диссертации:

Автоматическая сегментация позвоночника человека на КТ-изображениях по точечным меткам.

Написано в Universiteit Gent, сентябрь 2021 г., под руководством д-ра. Дж. Роэлс и др. Б. Ванкерсбилк.

Предоставленная гиперссылка позволяет получить доступ как к полному тексту, так и к коду, включая dockerfiles, для дальнейшего тестирования и разработки этой работы. Каждый волен сделать это, если дана цитата.

Цель

В диссертации исследуется метод слабого обучения для глубоких нейронных сетей. Он применяется к проблеме медицинской сегментации: разграничению пяти поясничных позвонков на КТ и МРТ позвоночника человека.

Я объединил различные общедоступные наборы данных КТ и МРТ. В 86 из этих сканов доступны полные объемные маски позвонков. В 22 томах доступны только смысловые метки. Для получения подробной информации о поле, возрасте и патологиях позвоночника в этом комбинированном наборе данных я хотел бы сослаться на текст диссертации (III-1).

Цель модели состоит в том, чтобы вывести классификацию для каждого вокселя. Для каждой точки в объеме сканирования модель должна решить, является ли она частью одного из пяти поясничных позвонков (от L1 до L5) или частью фона. Отличие от стандартных моделей глубокого обучения заключается в том, что желаемый уровень выходной информации недоступен в обучающем наборе данных.

Слабое обучение

Машинное зрение — глубокое обучение в целом — имеет тенденцию быть очень жадным до данных, требуя больших помеченных наборов данных. Получение этих наборов данных и соответствующих меток отнимает много времени и средств, что в еще большей степени относится к наборам медицинских данных, поскольку человеку, выполняющему маркировку, требуется больше обучения и сертификации, чем для наборов данных повседневных предметов. Идея слабо контролируемого машинного обучения заключается в обучении модели с более дешевыми аннотациями, которые содержат меньше информации, чем желаемый результат модели, используя скрытую информацию, доступную в метках без явного указания.

Я разработал модель автоматизированной сегментации пяти поясничных позвонков человеческого позвоночника на основе аннотированных медицинских сканов на точечном уровне. Вместо того, чтобы обозначать все пять поясничных позвонков, маркировщик должен поставить три точки на каждом позвонке. Основываясь на [1], я оцениваю стоимость маркировки в 12% от стоимости полных оконтуривающих масок.

Обзор предварительной обработки и решения

Основой модели является архитектура 2D-сегментации VGG16-FCN8. Эта модель обучается на псевдомасках, сгенерированных путем объединения трех разных моделей, обученных на точечных аннотациях. Использование предварительно обученной сети VGG16-FCN8 позволяет осуществлять трансферное обучение. Вместо того, чтобы начинать со случайных весов, сеть была предварительно обучена на наборе данных ImageNet. Этот набор данных не содержит конкретных классов или модальности изображения этой проблемы. Количество и вариативность классов, на которых он обучался, оказались полезными даже для задачи, не связанной напрямую.

После повторной выборки всех объемов сканирования на изотропной сетке 1 мм × 1 мм × 1 мм объемы можно разрезать перпендикулярно каждой из трех основных анатомических осей.

Три набора срезов изображений (поперечные, коронарные и сагиттальные срезы) позволили обучить три разные сети. У каждой модели есть предвзятость, но они до некоторой степени компенсируются при объединении. Оценка метрики проверки (взвешенные кости) для объединения трех результатов выше, чем для отдельных результатов.

Таким образом, псевдомаски могут быть сгенерированы из объединенных результатов моделей, обученных на точечных контролируемых срезах. Обучение одной модели на наборе данных под наблюдением псевдомасок приводит к получению окончательной модели. Важно отметить, что оценка этой окончательной модели в вычислительном отношении не дороже, чем модель, обученная на полностью контролируемом наборе данных. Обучение на слабо контролируемом наборе данных действительно требует больших вычислительных затрат. Это следует сравнить со снижением стоимости маркировки на 88%.

И эталонная модель, обученная на полных масках аннотаций, и модель, обученная на псевдомасках, являются базовыми сетями VGG16-FCN8. Можно утверждать, что более развитый подход к моделированию, учитывающий больше предварительных знаний, мог бы улучшить результаты обоих.

Шаги предварительной обработки

Контраст в каждом из этих срезов затем улучшается с помощью преобразования CLAHE (ограниченная контрастность адаптивного выравнивания гистограммы) и обрезается или дополняется для получения изображений размером 352 х 352 пикселя.

Функция потерь

Чтобы извлечь скрытую информацию из слабых меток, я использую комбинацию четырех терминов потерь. Два из этих терминов основаны на предыдущей работе д-ра. И. Лараджи [2] о сегментации помутнений на основе слабого наблюдения при КТ легких у пациентов с COVID-19. В этой работе я добавил два исходных условия потерь, чтобы сформировать четырехкомпонентную функцию потерь.

Четыре термина потерь состоят из двух контролируемых условий потерь:
Потеря баллов: кросс-энтропийные потери гарантируют правильность точек, для которых доступна метка. классифицировано.
Предыдущая потеря удлинения: Человеческие поясничные позвонки имеют известный максимальный размер. Эта потеря гарантирует, что модель не будет делать прогнозы за пределами этой области.
Два других условия потери являются неконтролируемыми условиями потерь:
Потеря согласованности требует, чтобы выходные данные модели соответствовали преобразованиям изображения.
Потери при разделении требуют, чтобы выходные данные модели были решающими. При классификации вокселя это должно быть с четким голосованием.

На следующем изображении потеря предыдущего экстента показана по-другому. Учитывая две точечные метки, потеря означает, что никакие воксели L3 не прогнозируются за пределами белой зоны.

Заключение

Работа в [2] дополнена двумя новыми функциями потерь и комбинированным алгоритмом для объединения моделей, обученных на разных стеках срезов из одного тома, в псевдомаски для обучения окончательной модели. Эта процедура позволяет модели приблизиться к производительности полностью контролируемой модели при 12% стоимости маркировки.