Резюме доклада MICCAI 2022 Обнаружение внераспределения для изображений с длинным хвостом и мелкозернистых поражений кожи
В этом кратком изложении мы подробно рассмотрим подход, представленный в статье MICCAI 2022 Обнаружение вне распределения для изображений с длинным хвостом и мелкозернистых поражений кожи. Это резюме больше подходит для экспертов, которые знакомы с обнаружением вне распределения (OOD) и анализом изображений повреждений кожи). Если вы ищете более простое объяснение мотивации задачи вне -of-Distribution (OOD), пожалуйста, ознакомьтесь с моим другим блогом, который специально написан для широкой аудитории.
Введение в задачу OOD
Задача обнаружения OOD и задача распознавания открытых наборов (OSR) была формализована [1]. С тех пор он привлек столь необходимое внимание со стороны исследовательского сообщества в области общего компьютерного зрения [2]. Было предложено много методов с различными стратегиями, начиная от масштабирования выходных баллов softmax, разделения на основе энергии и предварительной обработки искаженных входных данных, предоставления синтетических образцов, сгенерированных из GAN, для информирования модели классификации о границах OOD, ошибок на основе реконструкции, обучение с самоконтролем для лучшего изучения закрытого набора признаков пространства. Также было несколько недавних работ, основанных на вышеуказанных идеях, для разработки методов обнаружения OOD для кожных поражений с использованием набора данных ISIC (пожалуйста, просмотрите документ для всех ссылок на вышеупомянутые методы).
Хотя исследовательское сообщество в последнее время внесло хороший вклад в задачу обнаружения OOD, мы хотим подчеркнуть, что часто используемые настройки проблемы и наборы данных для оценки эффективности не напоминают сценарий для клинического развертывания.
В этом аспекте есть два недостатка: 1) закрытый набор данных, используемый для обучения модели, чрезвычайно хорошо сбалансирован и является крупнозернистым по своей природе (например, CIFAR-10) 2) даже если выбран мелкозернистый набор данных, его распределение обычно не имеет длиннохвостого характера (например, МСОК). Таким образом, эти настройки не похожи на сценарий реального приложения, в котором имеется значительно большее количество мелких категорий с длинным хвостом распределения, как в нашем собственном наборе данных, показанном на рисунке ниже.
В нашей работе мы строим наш подход на основе длинно-хвостового и мелкозернистого набора данных, что делает задачу обнаружения OOD еще более сложной и напоминает реалистичный сценарий в приложение реального мира.
Предлагаемый метод
Наш подход основан на более точном изучении границ решений между категориями закрытого набора [3]. Мы используем комбинацию увеличения данных с помощью смешивания[4] и лучшего изучения пространства признаков с помощью потеря прототипа [5], специально предназначенного для средних. strong> и tail классы.
Итак, что означает концентрация на среднем и хвостовом классах?
В наборе данных с длинным хвостом обучение обычно смещается из-за головных классов, то есть категорий, которые имеют большое количество выборок. Таким образом, наивное принятие любой стратегии по-прежнему будет сосредоточено на изучении лучших границ решений только для головных классов. Итак, наша идея мотивирована принятием стратегий для средних и хвостовых классов, т. е. категорий, которые имеют относительно среднее или малое количество выборок в наборе данных.
Стратегии смешивания внутри подмножества и между подмножествами
Сначала мы разделяем набор данных на три подмножества — головной {H}, средний {M} и хвостовой {T} и принимаем смешение между различными подмножествами в наборе данных, как показано на рисунке ниже.
В наших экспериментах мы заметили, что Стратегия MX5 Inter-subset со средним хвостом работает лучше всего с точки зрения обнаружения OOD, сохраняя при этом производительность закрытого набора. Несмотря на то, что применение этой стратегии несколько снижает производительность в головном подмножестве {H}, значительный прирост производительности для среднего {M}, хвостового {T} и обнаружения OOD заслуживает внимания. Следовательно, мы выбираем стратегию MX5 для интеграции ее с обучением прототипов.
Интеграция стратегии смешивания MX5 с обучением прототипам
Зачем изучать прототипы?
Потеря прототипа уменьшает вариацию расстояния внутри класса и увеличивает расстояние между классами, что оказалось чрезвычайно эффективным для изучения мелких деталей. Используя стратегию смешивания MX5, мы нацелились на длинную проблему набора данных. Интегрируя его с обучением прототипов, мы нацеливаемся на детальный аспект набора данных. Мы расширяем возможности обучения прототипов, комбинируя их с микшированием MX5. Структура этой интеграции показана на рисунке ниже.
Во-первых, смешанная выборка создается из двух независимых выборок, принадлежащих к разным категориям классов {Ci,Cj} с весами λ и (1−λ ) соответственно. Затем это передается в глубокую нейронную сеть (CNN) для создания встроенных функций fxij . Поскольку эти входные данные представляют собой комбинацию двух разных классов с определенным весом, мы предлагаем рассчитать расстояние признаков fxij от конкретных прототипов класса {pi, pj} на основе параметра веса. λ, а также сделать то же самое для кросс-энтропийной потери на основе расстояния.
Результаты эксперимента
Для настройки набора данных и выбора метрик оценки, пожалуйста, ознакомьтесь с разделом 3.1 бумаги. Мы выбираем стандартные оценочные показатели для наших экспериментов, т. е. точность, отзыв и показатель f1 для эффективности классификации в дистрибутиве; и площадь под рабочей характеристикой приемника (AUROC) для характеристик обнаружения OOD.
Какой должна быть ожидаемая производительность идеальной модели?
Идеальная модель должна сохранять неповрежденной производительность классификации в распределении и в идеале быть в состоянии определить, встречается ли образец OOD, т. Е. Высокая точность, полнота и оценка f1 при высоком AUROC.
Однако на практике этого трудно добиться. По мере того, как модель пытается повысить свою производительность обнаружения OOD, производительность классификации In-Distribution будет снижаться. Следовательно, существует компромисс между достижением высокой эффективности классификации в процессе распространения и высокой эффективностью обнаружения OOD.
Одна из таблиц эталонных показателей воспроизводится ниже.
Интересный анализ методов
Мы провели сравнение между распределением вероятностей In-Distribution (подмножества Head {H}, Middle {M} и Tail {T}) и подмножествами распределения OOD (OOD-20cl {O} и OOD (неизвестно) {U}. ). Мы обнаружили, что по мере того, как распределения {M} и {T} смещались к верхнему концу доверительного спектра, соответствующие распределения OOD {O} и {U} смещались к нижнему концу спектра. Проще говоря, по мере того, как модель становится более уверенной (повышает свою производительность) по отношению к подмножествам {M} и {T} набора данных, она приобретает лучшую способность обнаруживать образцы OOD (см. рис. ниже).
Заключение
Из наших обширных экспериментов можно сделать несколько жизненно важных выводов.
(i) Мы подчеркиваем, что текущие методы OOD все еще далеки от клинического развертывания, где они столкнутся со многими похожими образами OOD предметной области.
(ii) Сообществу следует разработать методы OOD для длинных и мелкозернистых наборов данных, которые представляют собой более реалистичный сценарий. Мы показали, что предыдущие методы, которые были в значительной степени разработаны для крупнозернистых и сбалансированных наборов данных, значительно снижают свою производительность при тестировании на нашем собственном наборе данных.
(iii) Нацеливание на повышение эффективности в средних и хвостовых категориях набора данных поможет повысить производительность OOD.
Мы считаем, что экспериментальные настройки и предлагаемый подход, показанные в этом документе, помогут сообществу разработать методы обнаружения OOD для приложения для практического развертывания.
Рекомендации
