Неха Дипали | Джонатан Ян | Сэм ЛаПлатни | Элли МакНалти | Картик Рамасубраманян

Аннотация

По оценкам Национального института рака, в 2021 году в США у 24 530 пациентов будет диагностирован рак головного мозга. Из них предполагаемая 5-летняя выживаемость составляет примерно 32,6%. Раннее и точное обнаружение опухолей головного мозга может привести к улучшению планов лечения и результатов лечения пациентов. В настоящее время отраслевым стандартом диагностики опухолей головного мозга является интерпретация рентгенологом магнитно-резонансной томографии (МРТ). Поскольку интерпретация МРТ может быть подвержена человеческим ошибкам, мы разработали решение с использованием сверточных нейронных сетей (CNN) для выявления наличия трех видов опухолей головного мозга — глиом, менингиом и опухолей гипофиза. Наш проект исследует и сравнивает различные подходы CNN к классификации опухолей головного мозга по трем вышеуказанным категориям. Наши результаты показывают, что ансамблевые методы могут использоваться для идентификации опухолей с очень высокой степенью точности.

Код для анализа можно найти здесь (GitHub).

Введение

Фон

Опухоли головного мозга увеличивают давление на окружающие ткани и изменяют их функцию, что приводит к таким симптомам, как головные боли, тошнота и проблемы с равновесием. Наш проект направлен на выявление наличия опухолей и классификацию их по одной из трех следующих категорий.

  • Глиомы составляют почти 33% случаев опухолей головного мозга и возникают в глиальных клетках, окружающих нервы. Хотя они могут возникать в любом возрасте, чаще всего они встречаются у взрослых в возрасте от 45 до 65 лет. Симптомы глиом включают головные боли, спутанность сознания, потерю памяти, проблемы с речью и судороги.

  • Менингиомы — наиболее распространенный тип опухоли головного мозга. Они возникают в оболочках, окружающих головной и спинной мозг. Хотя они часто растут в течение многих лет без симптомов, они могут привести к серьезной инвалидности. Симптомы менингиомы включают изменения зрения, головные боли, потерю слуха, потерю обоняния и трудности с речью.

  • Опухоли гипофиза относятся к опухолям гипофиза, который контролирует работу других эндокринных желез. В то время как некоторые опухоли гипофиза приводят к перепроизводству гормонов, другие приводят к недостаточной выработке гормонов. Симптомы давления опухоли гипофиза включают головную боль и потерю периферического зрения. Аномальная секреция гормонов может привести к таким симптомам, как непреднамеренное увеличение или потеря веса, повышенное выделение мочи, слабость и сексуальная дисфункция.

Постановка задачи

Исследование [2], опубликованное в International Journal of Surgery, показало, что из 762 случаев МРТ головного мозга общая диагностическая чувствительность рентгенолога колебалась от 72% до 90%, для обнаружения опухоли интерпретация МРТ с использованием опыта рентгенолога является дорогостоящей. и ограничено населением, имеющим доступ к высококачественному медицинскому обслуживанию. Типичная стоимость МРТ головного мозга может варьироваться от 1000 до 8400 долларов в зависимости от типа и сложности сканирования [3]. Высокая стоимость и длительное время ожидания приема рентгенолога в сочетании с возможностью человеческой ошибки при интерпретации МРТ головного мозга создают проблемы для пациентов, пытающихся получить точный и доступный диагноз.

Цель нашего проекта двояка -

  • Расширение возможностей рентгенологов: мы стремимся создать модель, которая сможет быстро обнаруживать наличие опухолей головного мозга и определять тип опухоли в самом центре визуализации. Это поможет быстрее разработать план лечения для пациентов, а также поможет радиологам расставить приоритеты у пациентов с опухолями.
  • Повышение доступности МРТ для пациентов:если опухоль не обнаружена, пациенты могут избежать встречи с радиологом и не платить за консультацию.

Связанных с работой

В последние годы большую популярность приобрела сегментация опухолей головного мозга с помощью сверточных нейронных сетей. В исследовании 2019 года описывается задача классификации трех классов, очень похожая на наш проект. Единственная разница заключалась в том, что их набор данных не включал класс мозга без опухолей. В этом исследовании Дипак и Амир использовали трансферное обучение для извлечения признаков и методов классификации, чтобы предсказать тип опухоли головного мозга в своем наборе данных [4]. Они достигли точности 98%, доказав, что трансферное обучение является эффективным методом для использования с разреженными данными изображения.

Кроме того, методы машинного обучения позволяют манипулировать изображениями посредством дополнений, которые могут обогатить изменчивость данных, используемых для обучения CNN. Исследование Sajjad [5] иллюстрирует различные методы увеличения, используемые для обогащения набора данных МРТ опухоли головного мозга разной степени тяжести, очень похожего на набор данных, использованный в нашем проекте. Методы, описанные в этом исследовании, такие как растяжение и вращение изображений, использовались на этапе предварительной обработки данных нашего проекта.

Схема подхода и новые характеристики

В то время как предыдущие исследования были сосредоточены на применении отдельных методов нейронной сети, наше исследование было сосредоточено на оценке эффективности следующих отдельных методов нейронной сети при классификации изображений в наборе данных опухоли головного мозга:

  • CNN (3 сверточных слоя и 2 слоя прямой связи)
  • ВГГ-16
  • РЕСНЕТ-152
  • Начало V3

Кроме того, мы использовали трансферное обучение для переобучения последних слоев моделей VGG-16, RESNET-152 и Inception V3 с целью повышения точности. Мы использовали методы ансамбля, объединяющие различные выходные данные модели, чтобы еще больше улучшить производительность модели.

Описание данных

Мы использовали набор данных Kaggle для обучения и оценки производительности наших моделей. Ссылку на набор данных можно найти здесь.

В наборе данных было 4 различных класса — глиома, менингиома, опухоль гипофиза и базовый случай отсутствия опухоли. Набор данных состоит из 5712 изображений в обучающем наборе и 1311 изображений в тестовом наборе.

Из приведенной выше таблицы мы заметили, что все классы были в значительной степени сбалансированы, и для исправления дисбаланса классов не требовалось никаких методов недостаточной или избыточной выборки.

Методы предварительной обработки данных

Стандартизация разрешения изображения

Учитывая, что методы трансферного обучения используют изображения RGB, а сети VGG и ResNet требуют, чтобы входные изображения имели разрешение 224x224 пикселей, мы соответствующим образом стандартизировали все изображения.

Увеличение изображения

Мы включили увеличение изображения в нашу процедуру предварительной обработки по следующим двум причинам:

  • Предотвращение утечки данных и сохранение пространственных данных. Мы хотели гарантировать, что изображение будет отнесено к определенному классу только из-за шаблонов, специфичных для этого класса, а не из-за какого-либо шума в данных. Например, в случае глиомы, если на всех изображениях обучающей выборки опухоли были только в правом верхнем углу, модель могла бы научиться ассоциировать опухоль с наличием паттерна в правой верхней части изображения. Если тестовое изображение представлено перевернутым по горизонтали (то есть опухоль появляется в левом верхнем углу), модель может в конечном итоге ошибочно классифицировать изображение как что-то другое. Увеличение изображения было выполнено для обеспечения сохранения пространственных данных.
  • Искусственное увеличение размера входных данных. Модели CNN, используемые в этом проекте, имели более миллиона параметров для обучения. Было необходимо иметь пропорционально большое количество входных изображений для эффективного обучения алгоритма и достижения хорошей производительности. Учитывая, что размер обучающего набора данных был ограничен несколькими тысячами изображений, которыми делились 4 класса, необходимо было искусственно увеличить размер обучающего набора. Это было сделано путем внесения незначительных изменений, таких как перевороты, переводы и повороты в существующий набор данных.

Используя приведенный выше код, мы получили 16 изображений, которые являются небольшими вариациями изображения слева. Это позволило нам увеличить наш набор данных в 16 раз без сбора новых обучающих данных.

Процесс моделирования

CNN популярны благодаря своей архитектуре. Основное преимущество использования CNN заключается в том, что нет необходимости в извлечении признаков. Система учится автоматически извлекать признаки пространственной когерентности. Он использует свертку изображений и фильтры для создания инвариантных признаков, которые передаются на следующий уровень. Функции в следующем слое свернуты с различными фильтрами для создания более инвариантных и абстрактных функций, и процесс продолжается до тех пор, пока один слой не получит окончательную функцию или результат (например, лицо).

Си-Эн-Эн

Первой моделью, рассмотренной для нашего проекта, была последовательная модель. После экспериментов мы пришли к окончательной модели, которая состояла из 3 слоев свертки и 2 слоев прямой связи. Некоторые стандартные рекомендации, используемые для построения моделей, заключались в том, чтобы удваивать размер фильтра при каждой свертке, а количество единиц в слоях прямой связи было в степени 2.

Пришлось рассмотреть другие модели, так как точность этой модели оказалась неудовлетворительной (менее 92%).

Перенос моделей обучения

Из-за ограниченной вычислительной мощности мы решили использовать методы трансфертного обучения для создания лучших моделей. Основная идея трансферного обучения состоит в том, чтобы перепрофилировать модели CNN, которые были обучены на общем наборе данных изображений, и применить их к другим наборам данных. Веса сверточной части сети можно скопировать, а затем переобучить (пожалуйста, обратитесь к этой ссылке для получения более подробной информации о различных моделях, доступных в составе пакета Keras).

В нашем проекте мы использовали трансферное обучение для трех разных моделей — VGG16, RESNET 152 и INCEPTION V3. Эти сети были обучены на наборе данных Imagenet, состоящем из 1,2 млн изображений, относящихся к 1000 классам.

VGGNet был создан, чтобы уменьшить количество параметров в слоях CONV Alexnet (который дебютировал в 2012 году) и сократить время обучения.

Остаточные нейронные сети (ResNets) были созданы для решения проблемы исчезающего градиента. Они используют соединение с пропуском или ярлык, который представляет собой отображение идентичности, при котором входные данные с предыдущего уровня добавляются непосредственно к выходным данным другого уровня.

Inception v3 использует несколько ядер разных размеров на одном уровне. Ядра большего размера предпочтительны для функций, распределенных по большей части изображения, а ядра меньшего размера хороши для определения конкретных особенностей региона.

Настройка моделей трансферного обучения

В нашем проекте мы попробовали два подхода с моделями трансфертного обучения:

  • Для первого подхода мы сохранили архитектуру модели, обеспечивающую наилучшую точность для набора данных Imagenet. Мы разработали уровни прямой связи (2 для VGG16, 0 для RESNET, 0 для Inception) и слой softmax (4 класса).
  • Чтобы еще больше повысить производительность модели, мы переобучили последние несколько слоев свертки. Это было сделано потому, что модели улавливают сложные особенности изображений на последних слоях.

После того, как точность обучения стабилизировалась с эпохами, мы разморозили всю сеть и тренировались еще несколько эпох, чтобы еще больше повысить точность.

Параметры модели

Мы использовали ADAM в качестве оптимизатора для всех моделей в нашем проекте, кроме Inception, где мы использовали RMSProp. Это было сделано потому, что RMSProp изначально использовался как оптимизатор для начальной модели.

Для каждой эпохи использовалось (5712/2) изображений. Первая модель CNN выполнялась дольше всех за эпоху. Очевидным преимуществом моделей трансфертного обучения было время выполнения — для их обучения требовалось примерно вдвое меньше времени, которое потребовалось первой модели CNN. Мы обнаружили, что Inception V3 требовал наименьшего количества эпох для конвергенции.

Производительность модели

На следующем изображении показаны характеристики отдельных моделей. Под «Индивидуальным» мы подразумеваем процесс использования трансферного обучения для обучения последнего сверточного слоя. Как и ожидалось, индивидуальные модели трансферного обучения (где обучались последние несколько слоев) работали лучше. ResNet обеспечил лучшую точность обучения и тестирования.

Карты активации градиента

Карты активации градиента — это инструменты визуализации важности функций для моделей CNN. Они дают представление о том, как модель VGG-16 делает прогнозы. Они выделяют пиксели, имеющие наибольшее влияние на прогноз, сделанный моделью. Влияющие пиксели окрашены в цветовую шкалу JET из библиотеки Seaborn, где красный цвет является наиболее влиятельным, а более темные оттенки синего — наименее влиятельными.

Изображения слева относятся к исходному скану. Изображения в центре представляют собой карту активации, а изображения справа представляют собой наложение первых двух изображений. На следующих изображениях показаны примеры, когда модель правильно предсказала местоположение опухоли.

На следующем наборе изображений показаны примеры, когда модель правильно классифицирует класс опухоли на основе неправильной части изображения (не опухоли). Эти примеры дают представление о недостатках модели VGG16. В идеале все правильно классифицированные изображения должны иметь высокую важность характеристик пикселей в области опухоли и вокруг нее. Это также дает нам мотивацию для выполнения ансамблевых техник.

Методы ансамбля

Наш набор данных включал 4 класса, и внутри каждого класса ориентация изображений была разной. Мы подозревали, что модели могут давать разную производительность в каждой подкатегории. Итак, мы используем методы ансамбля для создания окончательного прогноза класса. Мы выводим прогнозы классов отдельных моделей во фрейм данных, а затем используем такие модели, как голосование класса большинства, случайный лес и повышение градиента для окончательного прогноза.

Полученные результаты

Наши результаты показывают, что голосование по классу большинства имело наилучшую производительность с точностью 99,16% на тестовых данных. Примечательно, что в отношении обнаружения опухолей наша модель имела 0% ошибок типа 1 и 0% ошибок типа 2. Это важно, поскольку существует вероятность того, что ошибки 2-го типа могут привести к летальному исходу.

Наша ансамблевая модель имела чувствительность 100% при обнаружении опухолей головного мозга, что было значительно выше, чем у рентгенологов (от 72% до 90%).

Ссылки

[1] Национальный институт рака. Факты статистики рака: рак головного мозга и других видов рака нервной системы. https://seer.cancer.gov/statfacts/html/brain.html

[2] Точность традиционной МРТ для предоперационной диагностики внутричерепных опухолей: ретроспективное когортное исследование 762 случаев, International Journal of Surgery, том 36, часть A, 2016 г., ISSN 1743–9191, https: //doi.org/10.1016/j.ijsu.2016.10.023

[3] Стоимость МРТ. (2021, 9 сентября). Новости технологии обработки изображений. Проверено 10 декабря, https://www.itnonline.com/content/mricosts#:%7E:text=On%20average%2C%20a%brain%20MRI,extremity%20between%20%241%2C050%20and%20% 247%2C000%3B

[4] Дипак С. и Амир П. М. (2019). Классификация опухолей головного мозга с использованием глубоких функций CNN посредством трансферного обучения. Компьютеры в биологии и медицине, 111, 103345.

[5] Саджад, М., Хан, С., Мухаммад, К., Ву, В., Улла, А., и Байк, С. В. (2019). Многоуровневая классификация опухолей головного мозга с использованием глубокой CNN с обширным увеличением данных. Журнал вычислительной науки, 30, 174–182.