Обучение студентов-медиков искусству искусственного интеллекта: взгляд студента

Использование искусственного интеллекта (ИИ) в здравоохранении может произвести революцию в этой области, но требует сочетания как медицинских, так и технических знаний. Курс по использованию ИИ в здравоохранении должен быть введен на самом уровне бакалавриата, чтобы студенты-медики хорошо разбирались в нем к тому времени, когда они станут практикующими врачами. Я считаю, что инструменты без кода предоставляют подходящую платформу для студентов-медиков, не знакомых с ИИ, машинным обучением (МО) или даже компьютерным программированием, для создания вводного «черного ящика» понимания методов ИИ. В этой статье предлагается уникальный взгляд на вопросы, которые могут возникнуть у студента-медика о том, как ИИ учится, и его можно использовать для автоматизации
типичного медицинского случая. Эта статья призвана найти ответы на эти вопросы и представить оценку инструмента без кода для изучения ИИ на основе личного опыта, а также построить мысленную модель того, как машины учатся, и нюансов при выборе обучающих данных.

Доступность данных и кода. В этой статье используется набор данных MP-IDB: База данных изображений паразитов малярии для обработки и анализа изображений (Loddo et al., 2018), который доступен здесь. Модель семантической сегментации была обучена с использованием реализации DeepLabV3+ от Keras, доступной по адресу https://github.com/bonlime/keras-deeplab-v3-plus.

Введение

Интеграция искусственного интеллекта (ИИ) и машинного обучения (МО) в здравоохранение создала специализированную отрасль исследований, требующую как медицинских, так и технических знаний. Эта концепция может революционизировать качество медицинской помощи, предоставляемой населению, с точки зрения скорости, точности и масштабируемости диагностики и лечения. Исследования в этой области требуют междисциплинарной грамотности, базовых знаний и понимания основных концепций ИИ, с которыми патологоанатомы и лаборатории обычно не знакомы (Dhillon and Singh, 2019).

Помимо исследований, различные государственные регулирующие органы разработали планы действий по выпуску интеллектуального программного обеспечения в качестве медицинских устройств (например, (Food et al., 2020)). Новые решения на основе искусственного интеллекта уже получили одобрение регулирующих органов (FDA, 2021 г.) и доступны для практикующих врачей, таких как терапевты и хирурги.

В свете вышеперечисленных достижений можно предположить, что ИИ будет играть огромную роль в клинической медицине и диагностике в ближайшем будущем. Как пользователи этой технологии, практикующие врачи должны понимать ИИ и применять решения на основе ИИ так же, как они должны понимать любую другую технологию, влияющую на принятие клинических решений, например МРТ (McCoy et al., 2020). Хотя курсы непрерывного медицинского образования (CME) доступны для врачей (например, https://stanford.cloud-cme.
com/course/courseoverview?EID=40335), студенты-медики также проявляют широкий глобальный интерес к Грамотность в области ИИ и обучение оказанию помощи пациентам с использованием систем поддержки диагностики на основе ИИ (Wood et al., 2021; Tran et al., 2021). Начинающие врачи ожидают обучения работе с ИИ в различных сферах здравоохранения даже на уровне бакалавриата (Mehta et al., 2021). Из этого следует, что медицинские школы должны готовить врачей к использованию, интерпретации и объяснению выходных данных такого ИИ своим пациентам,
без необходимости полностью понимать используемые алгоритмы машинного обучения.

Между тем, прорыв в индустрии программного обеспечения привел к появлению платформ «без кода», которые позволяют энтузиастам и инженерам создавать модели машинного обучения без необходимости технических знаний в области кодирования (https://levity.ai/blog/no-code). -ai-карта). По мере увеличения списка инструментов без кода появились некоторые надежды на использование таких инструментов в анализе медицинских изображений (Kalshetty and Rakshit, 2021). По моему мнению, такие инструменты без кода представляют собой подходящую альтернативу для студентов-медиков, которые не знакомы с ИИ, машинным обучением или даже компьютерным программированием, для создания вводного «черного ящика» понимания методов ИИ. Я считаю, что, используя такие инструменты, они могут построить ментальную модель того, как машины могут обучаться рутинным задачам анализа изображений, чтобы им было легче понять, обосновать и объяснить результаты моделей, которые являются частью выпустили SaMD.

Методология

Задача: Обнаружение малярийных паразитов в мазках периферической крови (PBS)

У пациентов, пораженных малярией, определение типа малярийного паразита имеет решающее значение для своевременного и эффективного лечения. Малярию, которую иногда называют «королем болезней», вызывают разные виды паразита Plasmodium — P. falciparum, P. malariae, P. ovale, P. vivax. Заболевание возникает из-за попадания этого возбудителя в кровь человека при укусе самки комара Anopheles. Потребность в практической диагностике для борьбы с малярией растет, поскольку ранняя точная диагностика снижает как заболеваемость, так и смертность. Может быть трудно отличить малярию от других тропических инфекций, основываясь только на признаках и симптомах пациентов. В результате подтверждение диагноза с помощью лабораторных методов имеет решающее значение (Tangpukdee et al., 2009). Мы выбрали этот вариант использования из-за его потенциального воздействия — использование ИИ для автоматизации обнаружения паразитов на оцифрованных изображениях PBS потенциально сократит время обнаружения, повысит точность и сделает тест на выявление малярии более доступным для профессионала, который имеет опыт технического уровня в просмотре с использованием цифрового микроскопа даже в сельской местности.

Набор данных: База данных изображений малярийных паразитов (MP-IDB)

Мы исследовали несколько открытых наборов данных о малярийных паразитах в качестве кандидатов для оценки. Доступные наборы данных содержат оцифрованные изображения периферических мазков пациентов, пораженных малярией, а также аннотации для различных задач машинного обучения, таких как классификация, обнаружение объектов и семантическая сегментация. Среди этих трех набор данных о малярии Национального института здравоохранения (Rajaraman et al., 2018) содержит небольшие изображения инфицированных и неинфицированных клеток, аннотированные для задачи бинарной классификации. Коллекция Broad Bioimage Benchmark Collection (Ljosa et al., 2012) представляет собой набор данных мазков периферической крови, пораженных P. vivax, с аннотациями ограничивающей рамки вокруг различных типов клеток — двух классов неинфицированных клеток (эритроциты и лейкоциты) и четырех классов инфицированных клеток. клетки (гаметоциты, кольца, трофозоиты, шизонты). База данных изображений малярийных паразитов (Loddo et al., 2018) также содержит изображения целых PBS с семантической сегментацией каждого паразита, а также его классификацию по типу и стадии жизни. Мы решили использовать MP-IDB для нашего анализа из-за простоты визуализации аннотаций для просмотра, разумного размера и трудности обучения семантической сегментации в результате частого отсутствия аннотаций паразитов на ранней стадии.

Набор данных MP-IDB содержит около 229 оцифрованных изображений PBS, на каждом изображении есть хотя бы один зараженный паразит. Наряду с изображениями набор данных
содержит маску семантической сегментации вокруг зараженного паразита с указанием его типа. Несмотря на то, что он также представлен в наборе данных, мы проигнорировали стадию паразита для этой оценки. Как видно на рисунке 1, типичное изображение в наборе данных содержит большое количество эритроцитов с плавающими среди них нейтрофилами и тромбоцитами. В предоставленной основной истине выделены только очевидные полностью зараженные эритроциты. Однако отсутствует по крайней мере одна инфицированная клетка (примерно на 1/5 длины вниз и на 3/5 длины поперек. Эритроциты
внизу имеют наложенные на них тромбоциты и не выглядят инфицированными. 90% изображений были использовались для обучения, а оставшиеся 10 % использовались в качестве проверочного разделения.
Для всего набора данных общее качество изображения кажется удовлетворительным, достаточно читаемым для человеческого глаза, несмотря на то, что оно иногда размыто и имеет артефакты изображения теней, когда фотография
Замечание, которое будет более важным для нашей оценки, заключается в том, что разные изображения имеют разную концентрацию освещения, оттенка и окрашивания, что приводит к некоторым большим различиям в изображениях, учитывая, что набор данных содержит только 229 изображений.

Модель: реализация DeepLabV3+ без кода с АНОНИМИЗИРОВАННОЙ ПЛАТФОРМОЙ БЕЗ КОДА

Поскольку эта работа сосредоточена на рассмотрении обучения модели как черного ящика и создании ментальной модели того, как ИИ учится, мы решили использовать для оценки современную модель семантической сегментации. Мы признаем, что может быть много возможностей для улучшения архитектуры модели. Однако цель здесь состоит в том, чтобы изучить производительность ИИ с точки зрения студента бакалавриата при автоматизации задачи обнаружения малярийных паразитов, а не алгоритма машинного обучения. В результате мы сосредоточимся на индивидуальной оценке изображений в наборе данных и представляем нашу количественную и качественную оценку того, как модель обучается, в следующем разделе.

АНОНИМИЗИРОВАННАЯ ПЛАТФОРМА БЕЗ КОДА автоматизировала конвейер обучения модели и предоставила пользовательский интерфейс, позволяющий легко просматривать изображения, а также визуализировать и сравнивать как предсказания, так и наземные истины. Рисунок 2. Для задачи семантической сегментации платформа использовала Архитектура DeepLabV3+ с использованием архитектуры Xception backbone (Chen et al., 2017) с весами моделей, предварительно обученными на наборе данных Pascal-VOC (Everingham et al, 2010). Использовалась реализация Python с открытым исходным кодом с использованием платформы Tensorflow Keras для архитектуры модели https://github.com/bonlime/keras-deeplab-v3-plus. Конвейер обучения платформы без кода имел следующие предустановки: оптимизатор Адама; 100 эпох; и очаговая потеря Тверски для исправления классового дисбаланса.

Оценка

Ниже мы сначала представляем количественные и качественные результаты работы изученной модели. Наша оценка фокусируется на взгляде учащегося на то, как ИИ учится, на основе личного опыта использования платформы ИИ без кода. Затем следует обсуждение того, как это влияет на понимание учащимися, и, наконец, определение вопросов, которые необходимо будет решить в курсе по ИИ с использованием такого инструмента.

Количественная оценка:
производительность модели

В таблице 1 показаны метрики, предоставленные ANONYMIZED NO-CODE PLATFORM, о том, насколько хорошо усвоилась модель семантической сегментации. Эти метрики, специфичные для семантической сегментации, не были особенно полезны с точки зрения студента-медика в отношении того, насколько хорошо модель предсказывала малярийных паразитов. Однако при визуальном просмотре масок, предсказанных моделью, быстрая визуальная оценка показала, что модель действительно учится маскировать малярийных паразитов.

Возможности для улучшения

Одной из проблем при сравнении результатов с предыдущими результатами было отсутствие предшествующего уровня техники, который выполнял семантическую сегментацию всего изображения в наборе данных MPIDB — существующие решения либо цитируют, но избегают выполнения семантической сегментации, ссылаясь на отсутствие аннотаций ограничительной рамки (Arshad et al. ., 2021;
Sultani et al., 2021), или предпочитаете семантическую сегментацию на других наборах данных (van Driel, 2020; Abraham, 2019). Несмотря на это, мы признаем, что для таких задач в здравоохранении более желательным для бескодовой системы ИИ для таких задач в здравоохранении является следующее: Как будущих практикующих врачей, студентов бакалавриата учат параметрам, в которых выражается точность лабораторных тестов, проводимых в медицине. . Это «Чувствительность» (истинно положительный показатель) и «Специфичность» (истинно отрицательный показатель) конкретного теста. Студенты бакалавриата хорошо знают эти термины. Однако они не знают о различных показателях, используемых в искусственном интеллекте для обозначения точности модели.

Следовательно, им может быть трудно оценить, насколько хорошо модель работает в своей функции по обнаружению патологических изменений на изображении. Поэтому очень важно использовать термины, понятные студентам-медикам. Если используемый инструмент без кода может каким-то образом преобразовывать такие параметры, как Dice Loss или IoU Score, в «чувствительность» и «специфичность», это может упростить студентам бакалавриата понимание его точности и сравнение различных моделей друг с другом.

Качественная оценка

Кроме того, мы получили следующие результаты при
оценке около 50 изображений (представленных ниже с типичными
примерами). В целом мы видим, что модель не упустила
ни одного из паразитов P. falciparum, но не смогла точно обнаружить другие виды P. malariae. Чтобы добавить к этому, он также неправильно предсказал его как P.falciparum. В некоторых местах он даже обнаружил «ложноположительные результаты» P. falciparum. На рис. 3 показан пример.

Это может быть связано с

(а) небольшое количество аннотированных изображений в наборе данных

(b) Большинство аннотаций относятся к P. falciparum, оставляя слишком мало изображений с другими видами Plasmodium, на которых модель могла бы обучаться (т. е. дисбаланс классов).

Модель также неверно предсказала тромбоциты или другие эритроциты, не обозначенные в аннотациях как паразитированные, как паразиты P. falciparum. Таким образом, можно предположить, что модель делает прогнозы на основе формы и цвета структуры, а не идентифицирующих признаков P. falciparum, таких как кольцевая форма или аккольная структура паразита. Таким образом, любая структура, даже отдаленно напоминающая паразита по форме или оттенку, предсказывается как таковая. На рис. 4 показан пример этого. Абсурдно, но есть изображения, на которых модель вообще ничего не предсказала для аннотаций паразитов, отличных от P. falciparum. На рис. 5 показан пример этого. Это ставит под сомнение нашу основную логику, согласно которой
модель в основном предсказывает все на основе формы структуры и ее цвета. В модели предсказаний есть нечто большее, чем просто форма и цвет структуры, которую она идентифицирует как паразита. Таким образом, некоторая объяснимость в инструменте будет оценена по достоинству.

Тревожным открытием было то, что сам набор данных не полностью и точно аннотирован, и присутствовало несколько сомнительных аннотаций. Таким образом, между изображениями в наборе данных существует неоднородность. Неполнота аннотаций также видна на нескольких изображениях. На рис. 6 показан (обрезанный) пример, в котором отсутствовала пара аннотаций.

Это могло сыграть свою роль в сравнительно низкой эффективности модели для получения точных прогнозов. Процедуры модификации наборов данных и стратегии уменьшения погрешностей могут быть полезными только в том случае, если рассматриваемый набор данных представляет собой хорошо продуманную задачу. При приготовлении лимонада из лимонов важно убедиться, что лимоны не кислые и не деформированные (Paullada et al., 2021)!

Наконец, мы находим данные, различающиеся по оттенку, освещению и резкости (рис. 7). Фон изображений также значительно отличается друг от друга. В то время как некоторые изображения имеют розоватый оттенок фона, другие имеют соломенный оттенок. Это поднимает вопрос о том, какое влияние на производительность модели оказывает непоследовательность в подготовке данных (например, окрашивание), устройство захвата изображения (например, цифровой микроскоп или оцифрованные фотографии) и другие факторы (например, освещение, артефакты изображения на границах).

Обсуждение

Хотя производительность модели нуждается в улучшении, использование инструмента искусственного интеллекта без кода для изучения машинного обучения вызвало несколько серьезных проблем. Наиболее важная проблема связана с компетенцией: «Может ли ИИ использоваться как независимый диагностический инструмент или его следует использовать в качестве дополнения к задействованному медицинскому работнику, в данном случае патологоанатому?».

Это связано с тем, что он, безусловно, не выявляет каждую патологическую находку, которую может предложить изображение. Однако есть два способа взглянуть на этот недостаток, чтобы ученики лучше поняли, как учится ИИ:

Наличие хороших данных имеет первостепенное значение, и данные должны иметь правильное разнообразие и объем: в умах патологоанатомов уже существуют некоторые опасения по поводу точности наборов данных. Если в-
правильно аннотированные или не полностью аннотированные наборы данных приведут к снижению точности прогнозов, сделанных моделью, это еще больше поставит под сомнение полезность ИИ среди патологов
или даже врачей в целом.
• Алгоритм ИИ таков, что он обучается на изображениях, не зная всего спектра патологических изменений, кроме наличия только паразитов. Например, эритроциты, инфицированные P. vivax, немного крупнее, чем неинфицированные. Нормальный человеческий мозг патологоанатома, натренированный на этих фактах, заметит это сразу после сравнения инфицированных эритроцитов с незараженными. Тем не менее, модель ИИ основывает свою идентификацию исключительно на заражении паразитами эритроцитов и будет учитывать только морфологию и цвет
паразита. Это также может повлиять на точность модели.

Первая проблема вполне решаема и требует лучшей аннотации данных, что пропорционально повысит качество и точность прогнозов модели. Однако вторая проблема сложна и ставит под сомнение независимое функционирование модели. Таким образом, с точки зрения студента, курс по искусственному интеллекту должен позволить ему определить, что такое хороший набор данных и насколько важно использовать набор данных, который до отметки.

В отношении модели следует отметить непоследовательность в представлении прогнозов. Изображение, которое где-то было предсказано как «патологическое»,
было обнаружено как нормальное в другом месте. Причина такой картины обнаружения неизвестна и остается предметом дальнейших исследований. Еще одним аспектом модели, вызывающим озабоченность, является то, как она предсказывает и обнаруживает аномалии. Проанализировав изображения, авторы пришли к выводу, что платформа без кода делала прогнозы на основе множества факторов. Обнаружение и предсказание на самом деле представляли собой взаимодействие размера, формы, цвета красителя и глубины его оттенка. Помимо этого, модель также рассматривала непосредственное окружение патологии, в данном случае паразита. Например, он обнаружил даже пятно красителя внутри эритроцита как паразита, в то время как пощадил аналогичное пятно, расположенное вне клетки. Поэтому становится важным понять алгоритм обнаружения моделью того, что модель «думает»; и сравните
с тем, как «думает» патологоанатом. Это поможет нам понять, в чем расходятся оба направления мысли, и даст нам представление о том, как объединить лучшее из обоих миров и повысить точность прогнозов и обнаружений. Таким образом, студенту, понимающему концепцию искусственного интеллекта, необходимо знать, когда можно доверять модели, а когда — нет. Таким образом, курс должен информировать студентов об обучении оценке результатов модели, чтобы они знали, когда «доверять» ее результатам. даже на малейшие отклонения в изображении при условии, что он хорошо их изучил. Он направляет внимание наблюдателя на аномалию, тем самым повышая чувствительность прогнозов. Тем не менее, специфичность может быть нарушена, и это вызывает озабоченность. Для улучшения специфичности может потребоваться помощь человека. В этом случае вся система может оказаться экономически невыгодной, особенно для такой развивающейся страны, как Индия. Он также не будет служить той самой цели, для которой он был разработан, чтобы охватить каждый уголок страны, особенно там, где квалифицированные патологоанатомы недоступны для обнаружения и диагностики. В связи с этим возникает вопрос, следует ли использовать эту модель только для диагностики редких заболеваний, которые в противном случае могут
остаться незамеченными. Это практические вопросы, которые необходимо решать в надлежащее время.

Еще один момент, который необходимо подчеркнуть, заключается в том, что, как правило,
для обучения модели требуется очень большой набор данных. Это означает, что для полной и правильной аннотации каждого изображения требуется квалифицированная рабочая сила.

Модель также обучается на уже предоставленных ей изображениях. Таким образом, должен присутствовать источник для захвата этих изображений для модели, например, цифровой микроскоп. Все это, безусловно, будет иметь отношение к экономической эффективности модели. Если мы намерены использовать ее в периферийных или сельских районах, то нам необходимо «переосмыслить» весь процесс обучения и использования модели, чтобы
она стала рентабельным вариантом, который мы могли бы использовать в центрах первичной медико-санитарной помощи. в сельской местности. Таким образом, при разработке курса для студентов бакалавриата крайне важно дать им представление
о финансовом аспекте использования модели и не желать ограничивать границы курса академическими знаниями об искусственном интеллекте. Это гарантирует, что в будущем, когда они захотят исследовать
использование искусственного интеллекта в здравоохранении, они будут делать это с учетом финансового аспекта.

В этом процессе мы позаботимся о том, чтобы искусственный интеллект использовался там, где это практически необходимо, насколько это возможно.

Дополнительные поднятые вопросы

Анализ и выводы вызвали у авторов больше вопросов и остаются аспектами дальнейших исследований:

• Как мы можем доверять модели, если мы не знаем, в какой момент она не дает правильного прогноза и когда она действительно дает правильный прогноз?

• Как работает модель ИИ, когда у человека явно есть внешняя информация по отношению к изображению?

• Если люди сами не уверены в аннотациях и не могут полностью аннотировать изображения, как мы можем ожидать, что модель ИИ сделает это
?

• Действительно ли полезен этот алгоритм простого просмотра похожих изображений и последующего прогнозирования, или следует разработать альтернативный и другой метод?

• Следует ли использовать ИИ только для дополнения диагноза, поставленного патологоанатомом? Если да, является ли этот метод рентабельным, особенно в развивающихся
странах?

• Если он не служит цели экономической эффективности, следует ли его использовать только для редких состояний и болезней?

Улучшится ли функционирование модели, если улучшатся стратегии сбора данных и качество наборов данных?

Заключение

Хотя об использовании ИИ в здравоохранении ходят слухи, он все еще находится в зачаточном состоянии. Более того, среди медицинских работников существует определенный уровень скептицизма по поводу его использования в сфере здравоохранения.
Однако с помощью усовершенствованных методов и моделей ИИ можно легко интегрировать в рутинную медицинскую практику, и он принесет в нее большую пользу. Таким образом, невозможно опровергнуть возможность использования ИИ в здравоохранении как рутинной практики. Таким образом, будущие врачи должны быть готовы и должны иметь набор навыков, чтобы беспрепятственно интегрировать ИИ в свою медицинскую практику. Приобретение этих навыков становится важным как можно раньше, чтобы упростить процесс рутинного использования ИИ в медицине. Я считаю, что введение ИИ и машинного обучения для студентов бакалавриата в форме основных знаний по предмету с помощью инструментов без кода является многообещающим в его стремлении передать навыки, которые
потребуются врачам для использования ИИ. в медицине регулярно.

Тем не менее, знание того, что студенты-медики думают об ИИ и какие вопросы возникают у них при первом знакомстве с ИИ, должно
быть приоритетным. Возможно, это поможет нам разработать удобный для студентов курс по искусственному интеллекту, которого будет достаточно, чтобы подготовить их к будущему, в котором искусственный интеллект будет играть заметную роль в здравоохранении. Природа разработки такого курса должна быть динамичной и ориентированной на студента. Таким образом, можно получать постоянную обратную связь от студентов, а также необходимо вносить своевременные и актуальные обновления в курс. В этой статье освещены вопросы, которые возникли у студента-медика по поводу использования и работы ИИ в здравоохранении.

Будущая работа

Мы намерены узнать мнения и точки зрения многих других студентов-медиков об использовании ИИ в здравоохранении. Мы хотели бы сделать это, разработав краткий курс для студентов бакалавриата, который предоставит им необходимые знания об искусственном интеллекте и о том, как он работает. Затем мы хотели бы получить от них отзывы о том, что, по их мнению, необходимо улучшить или добавить в курс, а также о вопросах об ИИ, которые они имеют в виду. Мы попытаемся найти ответы на эти вопросы и включить их в курс, чтобы создать удобный для учащихся курс, который дает студентам важные, но целостные знания по этому предмету.