В этом эксперименте, в котором мы использовали надежную, предварительно обученную нейронную сеть для классификации медицинских изображений, а именно УЗИ молочной железы, сканирования опухолей головного мозга и сканирования легких Covid-19, мы обнаружили, что при определенных условиях надежная предварительно обученная модель может превосходить неробастную предварительно обученную модель в различных аспектах.

Вступление:

Трансферное обучение — популярный подход, при котором модели, обученные на общих наборах данных, могут эффективно адаптироваться к новым задачам. Вместо обучения модели с нуля трансферная модель предоставит основу, которую можно слегка адаптировать к поставленной задаче. Как правило, более высокая точность предварительно обученных моделей приводит к повышению производительности трансферного обучения. Как видно из этой статьи, было обнаружено, что модели ImageNet обеспечивают лучшую основу для точной настройки последующих задач.

Другой способ обучить классификатор изображений — сделать его устойчивым к состязательным атакам.

Состязательная атака — это когда злоумышленник стремится изменить изображения таким образом, чтобы обмануть модель, оставаясь при этом незаметным для человеческого глаза. Мы можем обучить модели устойчивости к состязательным атакам, показывая им примеры этих атак во время обучения.

Растет применение надежности или устойчивости к состязательным атакам. В частности, в сфере кибербезопасности состязательная атака может вывести из строя модель «шумом», незаметным для человеческого глаза. Это можно использовать в программном обеспечении для классификации изображений, например, для распознавания лиц в электронике или на знаках остановки для беспилотных автомобилей.

В статье ЭТО Мэдри и др. другая группа исследовала, будут ли надежные модели передаваться лучше, чем аналогичные ненадежные модели, предварительно обученные в ImageNet. Используя эту статью в качестве вдохновения, мы решили пойти по их стопам, но вместо этого применить их методы к наборам медицинских данных. Мы хотели посмотреть, можно ли их методы также распространить на наборы медицинских данных, которые отличаются от эталонных наборов данных, которые Madry et al. оценены в их статье.

Наше исследование показывает, что состязательно надежные модели, несмотря на то, что они менее точны на стандартных изображениях, часто превосходят стандартные модели в трансферном обучении. Мы специально исследуем трансферное обучение на состязательно надежных классификаторах ImageNet и демонстрируем, что они достигают повышенной точности в различных последующих задачах классификации. Наши результаты согласуются с недавними теориями, предполагающими, что надежность способствует улучшению представления функций.

Наше путешествие

Этот эксперимент начался после открытия связанной статьи, в которой был поднят главный вопрос: лучше ли передаются состязательно-устойчивые модели? Другими словами, способны ли предварительно обученные надежные модели превзойти неустойчивые предварительно обученные модели? Они так и считали, заявив, что благодаря использованию 12 различных задач машинного обучения, включая классификацию, обнаружение объектов и сегментацию экземпляров, робастная модель будет соответствовать или улучшать производительность стандартной модели.

Мы нашли это исследование интересным, но в некоторых областях ему не хватает. В частности, используемые наборы данных. В другой документе, который мы нашли, использовались методы трансферного обучения на рентгенограммах грудной клетки для обнаружения COVID-19. Объединив эти идеи, мы начали наше исследование, в котором использовались методы и направление первой статьи, а также набор данных второй статьи, чтобы провести надежное трансферное обучение на наборах медицинских данных.

Более подробный раздел экспериментов

На практике существует два типа трансферного обучения; исправленная функция и тонкая настройка сетиперенос обучения. Обучение с фиксированным переносом функций переобучает только несколько слоев нейронной сети, тогда как точная настройка сети настраивает все слои. Для нашего эксперимента мы выполнили точную настройку сети, обучив все слои.

Здесь мы объясним, как был поставлен наш эксперимент. Сначала мы взяли самую маленькую модель (ResNet-18), обученную на ImageNet. Мы использовали как стандартную, обученную модель, так и модель, которая была тщательно предварительно обучена против следующих состязательных атак (L2, L-inf, L-unconstrained, L-random_smooth). Затем мы выбрали 3 набора медицинских данных (рентгенография Covid-19, УЗИ молочной железы, опухоли головного мозга) и провели тонкую настройку сети с использованием этих предварительно обученных моделей. Наконец, используя модель, мы оценили их при различных состязательных атаках и сравнили их результаты.

Ниже приведены гиперпараметры, использованные в нашем эксперименте. Дальнейшие эксперименты с различными гиперпараметрами потенциально могут привести к созданию более точной модели. Эта ссылка дополнение данных предоставляет информацию о том, какие преобразования мы использовали для увеличения изображений.

Наборы данных

Всего для этого проекта было выбрано пять наборов данных, но использовались только три. Ниже перечислены пять наборов данных (все взяты из Kaggle) вместе с пояснениями, почему они были выбраны.

3 использованных набора данных

Рентгенография COVID-19:
УЗИ молочных желез:
Опухоль головного мозга:

Была выбрана рентгенография COVID-19, поскольку в статье, вдохновившей этот проект, использовался набор данных радиографии. Кроме того, на момент создания этого проекта Covid-19 был огромной проблемой. Поскольку в первой статье была предпринята попытка определить, болен ли человек COVID, это был первый набор данных, на котором мы тестировали. Этот набор данных содержал четыре различных класса для классификации каждого изображения: помутнение легких, вирусная пневмония, COVID-19 и нормальное. Всего имеется 3615 положительных изображений COVID-19, 10192 нормальных изображения, 6012 изображений помутнения легких и 1345 изображений вирусной пневмонии.

После сбора всех данных для рентгенографии следующими двумя наборами данных были выбраны: УЗИ молочной железы и Опухоль головного мозга. Оба набора данных были выбраны из-за того, что они связаны с медицинской сферой. УЗИ молочной железы включало 3 класса: стандартные, доброкачественные и злокачественные. В общей сложности набор данных УЗИ молочной железы содержит 1578 сканирований, из которых 891 классифицируются как доброкачественные, 421 как злокачественные и 266 как нормальные. Набор данных опухолей головного мозга содержал два класса: да и нет. Всего было проведено 253 медицинских сканирования головного мозга, из них 98 без опухолей и 155 с опухолями.

2 неиспользуемых набора данных

Медицинский МНИСТ:
Рак крови:

После получения данных для этих двух наборов данных мы сочли ненужным просматривать последние два набора данных (рак крови и медицинский MNIST) из-за информации, которую мы уже собрали, а также того факта, что для бесплатной вычислительной мощности Google Colab потребуется некоторое время. просмотреть наши самые большие наборы данных.

Результаты обнаружения опухоли головного мозга

В целом я считаю, что данные об опухолях головного мозга являются наиболее многообещающими. Надежные модели передачи наиболее стабильно превосходили ненадежную модель передачи. Хотя изображений для обучения не так много, как в двух других наборах данных, робастная модель превзошла стандартную модель по всем показателям во всех оценках, за исключением L-inf, где робастная и неробастная модели показали себя примерно одинаково.

Точность 20 шагов

Изображения 20 шагов

ResNet18-L2 eps: 0,0

ResNet18-L2 эп.: 0,5

ResNet18-L2 eps: 1.0

ResNet18-L2 eps: 3.0

ResNet18-L2 эп.: 5.0

Результаты УЗИ молочной железы

Второй наиболее многообещающий результат, на мой взгляд, связан с результатами УЗИ молочной железы. В оценках L-2 и L-inf модели Robust и Standard показали примерно одинаковые результаты. Однако в оценках L-inf модель Robust показала себя намного лучше, особенно для более низких значений эпсилон-теста. В оценке L-без ограничений модель Robust превзошла стандартную модель, тогда как в оценке L-random_smooth произошло обратное.

Точность 20 шагов

Изображения 20 шагов

ResNet18-L2 eps: 0,0

ResNet18-L2 эп.: 0,5

ResNet18-L2 eps: 1.0

ResNet18-L2 eps: 3.0

ResNet18-L2 эп.: 5.0

Результаты рентгенографии Covid-19

Хотя эти результаты наименее многообещающие с точки зрения соответствия нашей гипотезе, они все же дают ценную информацию. В оценках L-2 модель Robust превзошла стандартную модель только при более высоких значениях тестового эпсилона, что и ожидалось. В оценках L-inf модели Robust и Standard работали примерно одинаково.

Точность 20 шагов

Изображения 20 шагов

Изображения увеличены:

Нормализация изображения

ResNet18-L2 eps: 0,0

ResNet18-L2 эп.: 0,5

ResNet18-L2 eps: 1.0

ResNet18-L2 eps: 3.0

ResNet18-L2 эп.: 5.0

Выводы

Хотя исследования по эффективному трансферному обучению ограничены, результаты этого проекта являются многообещающими. Мы увидели, что, как правило, производительность ненадежных моделей снижается при столкновении с состязательными изображениями, тогда как точность надежных моделей остается стабильной или немного снижается. Кроме того, мы увидели, что многие надежные модели переноса способны соответствовать или даже превосходить свои ненадежные аналоги в большинстве задач.

Этот проект дал многообещающие результаты, но будущие модели могут устранить следующие три ограничения.

Во-первых, использование большего количества наборов данных. В нашем исследовании мы рассмотрели только три набора медицинских данных из-за ограничений по времени и графическому процессору. Однако будущие исследования, направленные на повышение точности надежных моделей переноса, могут использовать большее разнообразие и количество наборов медицинских данных.

Во-вторых, помимо классификации, модель может решать другую задачу, например обнаружение объектов. Хотя наша модель направлена ​​на классификацию состязательных изображений по разным категориям, расширение ее на различные задачи машинного обучения может расширить потенциальные возможности применения этого проекта. Например, использование обнаружения объектов для определения эффективности использования инструментов хирурга во время процедуры может обеспечить обратную связь с хирургом в режиме реального времени, что позволит ему улучшить свое мастерство.

В-третьих, единственной моделью, использованной в этом проекте, был небольшой ResNet-18. Будущие исследования могут расширить эту тему, протестировав десятки моделей и определив, как каждая из них реагирует на различные типы задач и данных. Можно использовать множество более крупных архитектур ResNet, например ResNet-50, и даже разные семейства моделей, например AlexNet.

Воспроизведение наших результатов

Ссылка на папку с блокнотами:

Папка Google Диска:

Выше приведены ссылки на блокноты, созданные для тестирования и запуска нашей модели. Мы рекомендуем вам также запустить код и посмотреть, какие улучшения можно внести.

Ссылка на наборы данных

Рентгенография COVID-19:
УЗИ молочных желез:
Опухоль головного мозга:
Медицинский MNIST:
Кровь Рак»:

Выше приведены ссылки на наборы данных Kaggle, которые использовались (и рассматривались) в этом проекте. Чтобы воспроизвести этот проект, следуйте инструкциям, опубликованным в каждом наборе данных Kaggle, чтобы загрузить набор данных. Загрузите наборы данных на Google Диск.

Ссылки на репозитории:

Репозиторий надежности MadryLab:
Надежные трансферные модели Microsoft:

Выше приведены ссылки, которые мы использовали для получения моделей передачи, предварительно обученных в ImageNet.

Цитирование

Если вы используете эту библиотеку в своих исследованиях, цитируйте ее следующим образом:

@misc{robustness,
   title={Leveraging Adversarial Attacks on Resnet18 Transfer Model in Medical Dataset Classification},
   author={Allan Zhou and Pat Stefanou},
   year={2023},
   url={https://medium.com/@allanzhou777/leveraging-adversarial-attacks-on-resnet18-transfer-model-in-medical-dataset-classification-a96055414492}
}