Джигар Бандария был научным сотрудником Insight Health Data Science (лето 2017 г.), а в настоящее время работает специалистом по анализу данных в OM1 inc. Ранее Джигар был научным сотрудником Калифорнийского университета в Беркли (физика, молекулярная и клеточная биология), где он реализовал визуализацию сверхвысокого разрешения для характеристики структуры хромосом человека in vivo. Он получил докторскую степень. Доктор химии из Университета Айовы, где он использовал сверхбыструю колебательную спектроскопию для характеристики взаимодействия белок-ингибитор.

Здесь мы обсуждаем, как он применил автоэнкодеры Stacked Denoising Autoencoders для быстрой и надежной сегментации изображений МРТ мозга в автоматическом режиме.

Автор, ответственный за переписку: Сяобинь (Иван) Чжэн, ведущий специалист по разработке и анализу данных в Insight Data Science. Электронная почта: [email protected]

Предварительная обработка и очистка: серьезное узкое место в анализе медицинских изображений

«Эти ограничения серьезно влияют на практичность анализа медицинских изображений в реальном времени, что очень важно во многих медицинских сценариях, и резко замедляют весь процесс лечения».

Хотя глубокое обучение показало некоторые значительные достижения в анализе и классификации изображений, их применение к медицинским изображениям только недавно начало набирать обороты. Это связано с тем, что медицинские изображения по своей природе более шумные и склонны к появлению артефактов. Несмотря на эти проблемы, в определенных сценариях было показано, что эти методы позволяют ставить более точные диагнозы, чем врачи-люди.

Основное препятствие, которое необходимо преодолеть при эффективной классификации медицинских изображений при диагностике, - это предварительная обработка и очистка. Эта задача является серьезным узким местом, поскольку она требует значительного количества времени для подготовки изображений для обучения, требует больших вычислительных затрат и знаний в данной области. Эти ограничения серьезно влияют на практичность анализа медицинских изображений в реальном времени, что очень важно во многих медицинских сценариях, и резко замедляют весь процесс лечения.

Моя цель: более быстрая автоматическая сегментация медицинских изображений мозга.

«Я хотел применить свои знания в данной области для решения важной проблемы в области медицинской визуализации и компьютерного зрения. Я разработал автоматизированный алгоритм, который может сегментировать необработанные изображения головного мозга на серое вещество, белое вещество и спинномозговую жидкость с помощью автоэнкодеров с накоплением шумов ».

Во время моей докторской Я приобрел опыт в многомерном спектральном анализе и, будучи докторантом, работал над разработкой алгоритмов визуализации сверхвысокого разрешения. Мой предыдущий опыт многому меня научил:

  1. Традиционный анализ изображений выполняется медленно. Любой конвейер анализа изображений обычно включает несколько этапов - нормализацию изображения, фильтрацию, определение пороговых значений, преобразования и т. д. Многие из этих этапов очень затратны в вычислительном отношении, особенно когда они должны выполняться на большой набор данных или реализуется в режиме реального времени.
  2. Традиционный анализ изображения субъективен. Например, уровень пороговой обработки или степень сглаживания изображения может зависеть от пользователя, что затрудняет обобщение этих решений.
  3. Внедрение искусственного интеллекта в анализ и классификацию изображений значительно улучшилось за последние несколько лет. Это во многом связано с последними достижениями в новых архитектурах и подходах к нейронным сетям, а также большей доступностью вычислительных ресурсов (GPU).

Важной задачей в анализе медицинских изображений, которая во многом зависит от обработки изображений, является сегментация изображений, важнейший первый шаг в клинических применениях. При анализе медицинских МРТ сегментация изображений позволяет оценить формы и размеры различных анатомических областей ткани, а также то, как они меняются во время прогрессирования заболевания.

В моем проекте Insight Health Data я хотел применить свой опыт в предметной области для решения важной проблемы в области медицинской визуализации и компьютерного зрения. Я разработал автоматизированный алгоритм, который может сегментировать необработанные изображения головного мозга на серое вещество, белое вещество и спинномозговую жидкость с помощью автоэнкодеров Stacked Denoising Autoencoders.

Набор данных для обучения: необработанные МРТ головного мозга и их сегментированные аналоги

Я получил свои данные из серии исследований изображений открытого доступа (OASIS), проекта, направленного на то, чтобы сделать наборы данных МРТ мозга бесплатно доступными для научного сообщества. Набор данных состоит из поперечного сечения более чем 400 субъектов в возрасте от 18 до 96 лет, как мужчин, так и женщин, с различной степенью размера и формы мозга (рис. 1). Некоторым из субъектов был поставлен клинический диагноз болезни Альцгеймера от очень легкой до умеренной. Высокий уровень разнообразия в наборе данных представляет значительный уровень сложности.

Помимо необработанных изображений, набор данных также состоял из изображений МРТ головного мозга, обработанных и сегментированных на серое вещество, белое вещество и спинномозговую жидкость с использованием обычного конвейера обработки изображений. Моя цель состояла в том, чтобы использовать сегментированные изображения, представленные в наборе данных, в качестве цели и разработать автоматизированный алгоритм, который может получать эти изображения непосредственно из необработанных срезов мозга без какой-либо предварительной обработки и в более короткие сроки. Это позволит проводить диагностику в реальном времени (за секунды!) По сравнению с обычным конвейером (который занимает десятки минут).

Для разработки алгоритма в качестве входных данных использовались все срезы трехмерного объема мозга, за исключением десяти верхних и нижних - поскольку у них очень маленький мозг и в основном череп и другие ткани, а соответствующие срезы сегментированного изображения использовались в качестве мишеней. 80% набора данных было использовано для обучения, а оставшиеся 20% - для оценки разработанных алгоритмов. Кроме того, изображения были дополнены горизонтальным и вертикальным перемещением и вращением.

Составные автокодеры с шумоподавлением для реконструкции сегментов мозга

«В автоэнкодерах шумоподавления входные данные стохастически искажаются за счет добавления шума или удаления части изображения, а затем обучаются по исходному изображению. Цель состоит в том, чтобы предсказать недостающую часть изображения или предсказать правильное изображение на основе шумного входа ».

Моей первоначальной целью было разработать единый алгоритм для разделения мозга на белое, серое вещество и спинномозговую жидкость. Однако я понял, что все три сегментированных изображения имеют разные характеристики. Например, белое вещество состояло из больших и широких белых пятен, спинномозговая жидкость была более тонкой и жесткой, а серое вещество состояло из обеих этих характеристик. Поэтому я решил разработать по одному алгоритму для каждого. Другой целью моего проекта было разработать алгоритм, который был бы более легким (использует меньше параметров), чем тот, который часто используется в популярных в настоящее время архитектурах нейронных сетей, таких как U-Net.

По этим причинам я решил использовать составные автоэнкодеры с шумоподавлением (SDAE). Все алгоритмы были разработаны и настроены на инстансе Amazon EC2 p2.xlarge.

Автоэнкодер - это нейронная сеть, которая часто используется для уменьшения размерности, а также для извлечения и выбора признаков. Как правило, количество скрытых слоев меньше, чем количество входных данных, поэтому автокодер, по сути, изучает латентное пространственное представление входных данных, но в более низкоразмерном пространстве. Это представление скрытого пространства можно использовать для восстановления исходного изображения; однако эта реконструкция может быть несовершенной. Можно думать, что встраивание исходного входного изображения из пространства более высокой размерности в скрытое пространство более низкой размерности аналогично сжатию изображений с потерями (например, при сжатии jpeg). Автоэнкодеры с шумоподавлением выигрывают от такой природы кодировщика с потерями.

В автоэнкодерах шумоподавления входные данные стохастически искажаются путем добавления шума или удаления части изображения, а затем обучаются по исходному изображению. Цель состоит в том, чтобы предсказать недостающую часть изображения или предсказать правильное изображение на основе шумного входа. Я реализовал эту стратегию для восстановления сегментированных изображений мозга.

Необработанные изображения МРТ головного мозга считались зашумленными / искаженными изображениями, и цель состояла в том, чтобы обучить шумоподавляющий автоматический кодировщик предсказывать очищенное / сегментированное изображение мозга. Два слоя шумоподавляющих автоэнкодеров были наложены друг на друга. Это было очень полезно, так как на обучение каждого шумоподавляющего кодировщика ушло меньше времени, а также повысилась эффективность восстановления сегментированных изображений.

SDAE сегментирует изображения мозга с высокой точностью, но намного быстрее

«По сравнению с обычным конвейером, который занимает порядка десятков минут, SDAE может генерировать все три сегментированных изображения менее чем за одну секунду».

Алгоритмы, обученные для восстановления белого вещества, серого вещества и спинномозговой жидкости, были отмечены в оценочном наборе данных. Несколько различных показателей использовались для сравнения сегментированных изображений, восстановленных с помощью SDAE, с изображениями, созданными с помощью обычного конвейера (считающегося золотым стандартом в этом проекте). На рисунке 4 ниже показано сравнение изображений, восстановленных с помощью SDAE, и традиционного конвейера обработки изображений для одного из изображений в наборе оценочных данных.

Я использовал три разных показателя, чтобы сравнить изображения, восстановленные с помощью SDAE, с изображениями, сгенерированными обычным конвейером. Это область под кривой рабочих характеристик приемника (AUC), индексом структурного сходства и индексом Жаккара.

Как показано на рисунке 5, изображения, восстановленные с помощью SDAE, в целом очень похожи на изображения, созданные с помощью обычного конвейера. Основные различия реконструированных изображений проявляются в спинномозговой жидкости, особенно вблизи периферии головного мозга. Вероятно, это связано с тем, что необработанные изображения содержат череп, и алгоритм не может отличить череп от спинномозговой жидкости. Однако совпадение во внутренней части мозга (которое в большинстве случаев является интересующей областью) по-прежнему очень надежно.

Однако наиболее значительным преимуществом SDAE является то, что все три сегментированных изображения могут быть сгенерированы очень быстро. По сравнению с обычным конвейером, который занимает порядка десятков минут, SDAE может генерировать все три сегментированных изображения менее чем за одну секунду. Другими словами, это в ~ 400 раз быстрее, чем у обычного конвейера. Такое повышение скорости не только позволит проводить диагностику в реальном времени, но и поможет ускорить весь процесс здравоохранения.

Мысли на прощание

Хотя этот проект был очень захватывающим, и я смог добиться очень хороших результатов с точки зрения точности изображения и повышения скорости, все еще есть возможности для улучшения. Например, что касается реконструкции изображения спинномозговой жидкости, может быть полезно начать с изображения МРТ головного мозга без черепа.

Еще один момент, который следует учитывать, заключается в том, что, хотя восстановление изображения происходит очень быстро, все же существует некоторая разница между изображениями, полученными с помощью SDAE, по сравнению с изображениями, созданными с помощью обычного алгоритма. Являются ли эти различия приемлемыми и насколько это различие влияет на способность медицинского работника ставить диагноз?

В любом случае, проект демонстрирует, что составные автоэнкодеры с шумоподавлением могут быть очень мощным инструментом для обработки медицинских изображений, значительно сэкономить время, а также уменьшить систематическую ошибку, которая обычно присутствует в этом процессе.

Заинтересованы в переходе к карьере в области данных? Узнайте больше о программах для стипендиатов Insight Наука о данных, Инжиниринг данных, Данные о здоровье и Искусственный интеллект в Нью-Йорке. , Бостон, Сиэтл и Кремниевая долина, подайте заявку сегодня или подпишитесь на обновления программы.