Просмотр и аннотирование медицинских данных, изображений и видео является важной и частой задачей для многих практикующих врачей в отрасли здравоохранения.

Отправной точкой для многих при оценке того, как выполнить эту задачу, будет начать с инструментов аннотирования медицинских изображений с открытым исходным кодом — эти инструменты популярны в медицинском секторе и могут быть разумным способом сэкономить деньги на начальном этапе. в проекте аннотирования набора данных изображения или видео.

В этой статье мы рассмотрим несколько ключевых инструментов аннотирования данных, которые наша команда часто обсуждает с руководителями групп обработки данных и машинного обучения (а также с радиологами, клиницистами и более широким сообществом аннотаторов), поскольку они только начинают работать над аннотированием данных. ' путешествие.

В основном мы рассмотрим несколько инструментов, предназначенных для решения конкретных болевых точек и проблем аннотирования медицинских изображений, таких как MITK Workbench, ITK-Snap, 3D Slicer и некоторые другие, а не более широкие инструменты аннотирования компьютерного зрения.

Как мы все знаем, у использования инструментов с открытым исходным кодом для проектов аннотирования медицинских изображений есть свои плюсы и минусы. При проведении собственной оценки стоит сравнить то, что есть на рынке, с вашими собственными требованиями, исходя из ваших конкретных вариантов использования и перспективных планов.

В этой статье мы рассмотрим несколько самых популярных инструментов с открытым исходным кодом для аннотирования медицинских изображений, в том числе основные варианты использования, преимущества и недостатки этих инструментов. инструменты и соображения, которые команды принимают во внимание, продвигаясь вперед в процессе аннотирования данных.

Что такое инструменты аннотации с открытым исходным кодом?

Инструменты аннотирования с открытым исходным кодом — это программы, исходный код которых находится в свободном доступе для всех. Когда мы думаем о платформах для аннотаций, то под инструментами аннотации с открытым исходным кодом мы подразумеваем инструменты, которые помогают командам в широком процессе аннотирования и маркировки (включая такие варианты использования, как классификация изображений, сегментация изображений, маркировка данных и обнаружение объектов). Они будут направлены на поддержку практически любых целей аннотирования изображений или видео (если только лицензия специально не запрещает определенный тип использования).

Инструменты с открытым исходным кодом обычно создаются совместно с многочисленными — иногда сотнями или тысячами — разработчиков, которые вносят свой вклад в исходный код. Инструменты часто тестируются с использованием общедоступных наборов данных медицинских изображений и обычно финансируются благотворительным фондом, пожертвованиями общественности/пользователей или одной или несколькими спонсорами технологических компаний.

Каковы преимущества использования инструментов аннотации с открытым исходным кодом для медицинских изображений?

Ключевые преимущества инструментов аннотирования с открытым исходным кодом для медицинских изображений:

  • Они бесплатны для использования
  • Они доступны для коммерческого использования и могут быть построены и настроены
  • Как правило, они поддерживают как сообщества, так и академические варианты использования.
  • В большинстве случаев они поддерживают множество форматов файлов медицинских изображений (включая форматы файлов медицинских изображений DICOM и NIfTI).

Теперь давайте подробнее рассмотрим некоторые из самых популярных на рынке инструментов для создания аннотаций с открытым исходным кодом.

Какие инструменты аннотации с открытым исходным кодом для медицинских изображений являются одними из самых популярных?

Поддержка широкого спектра инструментов с открытым исходным кодом, специально созданных для управления проектами аннотаций для наборов данных медицинских изображений. В этой статье мы сосредоточимся на нескольких наиболее популярных, включая MITK Workbench, ITK-Snap, 3D Slicer, HOROS, OsiriX и средство просмотра OHIF.

Верстак МИТК

MITK Workbench — бесплатное программное обеспечение с открытым исходным кодом для обработки, аннотирования и сегментации медицинских изображений. Он основан на The Medical Imaging Interaction Toolkit (MITK), программном обеспечении с открытым исходным кодом для разработки интерактивного программного обеспечения для обработки медицинских изображений.

Исходный код хранится на GitHub, и существует программное обеспечение MTIK Workbench, которое каждый может загрузить и использовать для Windows, Linux и Mac (macOS). Вот еще информация о том, как вы можете использовать MTIK Workbench для проектов аннотирования и сегментации медицинских изображений.

MTIK и последующий рабочий инструмент с открытым исходным кодом были первоначально разработаны для аспирантов и исследователей отдела медицинской и биологической информатики (MBI) Немецкого центра исследования рака.

ИТК-Snap

ITK-Snap — еще один инструмент аннотирования медицинских изображений с открытым исходным кодом. В отличие от некоторых других, которые мы рассмотрим в этой статье, он ориентирован исключительно на один этап более широкого процесса аннотирования данных: задачу сегментации.

Он был создан в результате долгосрочного сотрудничества между исследователями PICSL Пенсильванского университета и Института научных вычислений и обработки изображений (SCI) Университета Юты, и в результате имеет большое академическое значение.

Основное предложение ITK-Snap — инструменты ручной сегментации (например, кисть и краска); он также предоставляет базовый набор полуавтоматических инструментов (в основном режим взаимодействия змеи) и дополнительные инструменты для процесса сегментации (в основном функция интерполяции). Это идеально подходящий и очень популярный вариант для начинающих врачей, он поддерживает форматы файлов медицинских изображений DICOM и NIfTI.

3D-слайсер

3D Slicer создан для визуализации, обработки, сегментации, регистрации и анализа медицинских, биомедицинских и других 3D-изображений и сеток.

Он поставляется с загружаемым программным обеспечением для настольных ПК, может использоваться в коммерческих целях и обеспечивает доступ к обширной платформе разработки и активной сети пользователей. 3D Slicer помогает специалистам по обработке медицинских изображений и командам по работе с данными выполнять сегментацию многослойных медицинских изображений, включая сегментацию 2D и 3D — инструменты, доступные для сегментации, включают ручные инструменты (например, кисть, инструмент для рисования и ластик), а также более широкий набор полуавтоматических инструментов. - автоматические по сравнению с ITK-Snap (например, пороговое значение и отслеживание уровня).

3D Slicer также позволяет выполнять основные задачи, дополняющие сегментацию, включая базовую интерполяцию между срезами и фильтры. Основным недостатком, на который часто жалуются команды при использовании 3D Slicer для аннотирования изображений и файлов, является набор функций (о котором часто сообщается как о довольно запутанном) и более крутая кривая обучения по сравнению с другими инструментами, упомянутыми в этой статье.

На протяжении более 10 лет Национальный институт здравоохранения США (NIH) был ключевым участником и сторонником, и с момента запуска 3D Slicer было загружено более 1 миллиона раз.

ХОРОС

HOROS — еще один бесплатный проект программного обеспечения для просмотра и аннотирования медицинских изображений с открытым исходным кодом. Это часто предпочтительный инструмент для аннотирования на компьютерах Apple, и не случайно его заявленная цель — разработать полнофункциональную 64-битную программу просмотра медицинских изображений для MacOS.

Команды специалистов по аннотациям и машинному обучению могут использовать средство просмотра и инструменты аннотирования HOROS для аннотирования медицинских изображений и видео, сохранения их в облаке и создания отчетов для совместного документирования проекта аннотирования.

Несколько других проектов, связанных с медициной и здравоохранением, внесли свой вклад и являются частью HOROS, включая OsiriX, OpenJPEG, OpenGL, VTK, ITK, DCMTK, GDCM, Grok. и Облако Хороса.

HOROS работает и поддерживается технологическими партнерами в секторе здравоохранения, а также за счет пожертвований пользователей.

ОсириX

Взаимосвязанный с HOROS и поддерживающий его, OsiriX — это еще один вариант, который многие команды выбирают при поиске инструмента для маркировки, с которым можно начать работу.

Первоначально OsiriX с полностью открытым исходным кодом теперь предлагает либо версию «Lite», которая доступна бесплатно в качестве демонстрационного приложения, либо OsiriX MD, коммерческую версию, которую вы можете использовать по цене от 69,99 долларов в месяц.

Подобно большинству инструментов с открытым исходным кодом, OsiriX Lite часто используется стартапами на ранних стадиях, проектами проверки концепции (POC) и исследовательской работой. Основываясь на наших многочисленных беседах с командами, стоит обратить внимание на несколько ключевых функций при оценке такого инструмента, как OsiriX Lite, по сравнению с другими; в частности, его возможности в отношении 3D-рендеринга, а также функции DICOM и совместной работы (которые, в зависимости от варианта использования, команды часто называют ограниченными).

С другой стороны, одно из основных преимуществ OsiriX MD состоит в том, чтобы компенсировать проблему безопасности, которая является одной из основных проблем с инструментами аннотирования с открытым исходным кодом (и которую мы рассмотрим более подробно через секунду). ).

OsiriX MD — это инструмент, одобренный FDA и имеющий маркировку CE II, и этот повышенный уровень безопасности делает его лучшим вариантом для групп, профессионально комментирующих (или проходящих или ожидающих одобрения FDA).

Зритель ОГИФ

OHIF Viewer был разработан и поддерживается Open Health Imaging Foundation (OHIF) в Массачусетской больнице общего профиля (MGH) и является программным обеспечением с открытым исходным кодом под лицензией MIT.

OHIF Viewer — это инструмент для создания «настраиваемых рабочих процессов с удобными интерфейсами. Быстро просматривайте заявки и сообщайте о результатах, установка не требуется». Он включает в себя расширенные инструменты визуализации, простой в использовании набор аннотаций и совместим со стандартами DICOMWeb и OpenID Connect.

OHIF — это инструмент аннотирования с открытым исходным кодом, который близок к коммерческим вариантам, поскольку поддерживает мультимодальное слияние изображений, многоплоскостное переформатирование и многое другое. Он также поставляется с облачным интерфейсом, что упрощает управление совместными проектами аннотаций.

Несмотря на различные преимущества использования инструментов аннотирования с открытым исходным кодом для проектов медицинской визуализации, есть и несколько недостатков.

Каковы недостатки использования инструментов с открытым исходным кодом для аннотации медицинских изображений?

Как и в случае любого инструмента для аннотирования изображений, конечной целью процесса маркировки является предоставление высококачественных данных для следующего этапа процесса; Аннотирование — это просто один из этапов, хотя и решающий — в случае создания приложений машинного обучения, после того как наборы данных будут помечены и аннотированы, вы будете подвергать их тестированию, вводя их в модель (часто более широкое машинное обучение (ML ) или модель компьютерного зрения (CV)»), затем обучение и повторение обучения, пока вы не будете готовы запустить готовую к производству модель и, наконец, решить критическую цель, которую вы поставили перед собой.

Инструменты с открытым исходным кодом часто являются отличной отправной точкой при переходе от 0 к 1 с аннотацией наборов медицинских изображений и видеоданных, но, как мы все знаем, они по своей природе ограничены в своих возможностях для достижения некоторых из наиболее важных и мощных результатов. с которыми сталкиваются команды по мере продвижения по пути.

В беседах с тысячами практиков и лидеров сообщества медицинского ИИ мы периодически слышим о многочисленных ключевых недостатках программного обеспечения для аннотирования с открытым исходным кодом — их часто полезно учитывать заранее, чтобы вы могли эффективно спланировать свои следующие шаги. ваше путешествие данных будет.

Ниже мы углубимся в три основных — масштабирование, безопасность и совместная работа — о которых вы также можете подробнее прочитать в нашем блоге здесь. Это:

  • Масштабирование работы с аннотациями с помощью инструментов с открытым исходным кодом — сложная задача. Инструменты с открытым исходным кодом часто поставляются с базовым набором функций (и, следовательно, идеально подходят для многих команд, когда они начинают работу), но им не хватает более широкого набора потребностей, которые начинают требовать компании при масштабировании. Например, несмотря на то, что часто разумной настройкой для команд является совместная работа над процессом аннотирования с помощью инструмента с открытым исходным кодом и переписки по электронной почте, по мере увеличения количества аннотаторов и объема данных возможности совместной работы в приложении и в режиме реального времени, такие как теги становятся ключевыми. Команды, с которыми мы работаем, часто начинают чувствовать эту боль, когда начинают масштабироваться, и именно тогда более надежный коммерческий вариант может помочь сэкономить ресурсы, ускорить процесс, а также избежать ошибок и неточностей.
  • Инструменты с открытым исходным кодом по своей природе отстают от требований безопасности. В большинстве случаев инструменты с открытым исходным кодом не соответствуют строгим стандартам соответствия коммерческих инструментов и по своей природе не включают такие функции, как аудит, которые требуются более авторитетным компаниям для достижения таких вех, как одобрение FDA. Многие из них не имеют проверяемых журналов данных, которые можно отслеживать, отслеживать и сообщать о них, что затрудняет достижение соответствия требованиям FDA и HIPAA или сертификации GDPR и CE в Европе.
  • Бесплатность не всегда означает рентабельность. По мере увеличения объема аннотаций и аннотаторов скрытые затраты на управление процессом начинают расти в геометрической прогрессии. На этом этапе руководители проектов часто обнаруживают, что им необходимо научиться количественно оценивать, управлять и измерять свои процессы и работу; они должны иметь возможность отслеживать и получать четкое представление о процессе, а также оптимизировать операции в различных областях. Именно здесь ограничения инструментов с открытым исходным кодом начинают сильно влиять на их способность достигать своих целей; два примера, которые мы часто слышим на этом этапе, — это разочарование из-за необходимости списывать большой процент времени на задачи, не добавляющие ценности, а также невозможность отслеживать, как работает каждый комментатор, что приводит к плохому процессу и результату.

После начала работы с программным обеспечением для аннотирования с открытым исходным кодом для своих проектов аннотирования наборов данных медицинских изображений большинство команд, как правило, переходят на коммерческий проприетарный инструмент, специально созданный для того, чтобы помочь им начать свой проект с 1 и далее. Подобные инструменты часто просты в совместной работе, имеют передовые стандарты безопасности и позволяют группам по работе с данными и машинному обучению экономически эффективно масштабировать свой проект (а также помогают достигать вех, таких как разрешение FDA).

Аннотации к медицинским изображениям в Encord

Encord — это ведущая платформа аннотирования в медицинском ИИ, созданная для простого управления процессом аннотирования и позволяющая выполнять самые сложные задачи аннотирования. В Encord мы разработали наше программное обеспечение для аннотирования наборов данных медицинских изображений в сотрудничестве с лидерами в области операций с данными, машинного обучения и искусственного интеллекта в медицинской отрасли — это позволило нам создать мощный автоматизированный пакет аннотаций изображений, позволяющий полностью проверять данные, и мощные протоколы маркировки.

Некоторые из успехов, достигнутых медицинскими бригадами, с которыми мы работаем:

  • Stanford Medicine сократила продолжительность эксперимента с 21 до 4 дней, при этом обрабатывая в 3 раза больше изображений на 1 платформе, чем на 3
  • Королевский колледж Лондона добился в среднем 6,4-кратного повышения эффективности маркировки видео с географической привязкой, автоматизировав 97% маркировки и позволив аннотаторам тратить время на дополнительные задачи.
  • Memorial Sloan Kettering Cancer Center изготовил 1000 настраиваемых этикеток со 100% аудитом для своих проектов лечения легочного тромбоза.

Используйте Encord в действии. Попробуйте бесплатно сегодня.

Первоначально опубликовано на https://encord.com.