Пусть модель машинного обучения признает, что она не знает.

Чрезмерная уверенность в обнаружении выхода за пределы распределения

Известно, что модели машинного обучения хорошо обобщаются, когда все данные тестирования и данные обучения взяты из одного и того же распределения. Однако более реалистичным сценарием является то, что во время обучения в модель машинного обучения могут быть отправлены неполные знания о настоящем мире, а также нерелевантные образцы из неизвестных классов или распределений[1]. Исследования показывают, что модель ML может неправильно классифицировать тестовые образцы из неизвестных классов или разных семантических распределений как одну из известных категорий с высокой степенью достоверности. Классификаторы, не указывающие, когда они, вероятно, ошибаются, могут ограничить их принятие или привести к серьезным авариям. Такое пресловутое поведение модели ML именуется «высокомерием» или «агностофобией». Это чрезвычайная ситуация, когда модели должны отбраковывать образцы со сдвинутой этикеткой, чтобы гарантировать надежность и безопасность. Для решения этой проблемы предлагается область обнаружения вне распределения.

Обнаружение вне распределения (OOD) направлено на обнаружение тестовых образцов с неперекрывающимися метками по сравнению с данными обучения. В настройке обнаружения OOD тестовые образцы берутся из дистрибутива с семантическим сдвигом от ID.

OOD Detection рассматривает проблему различения образцов, находящихся и не распространяемых. В этом блоге мы сосредоточимся на обнаружении изображений вне распространения в задаче классификации изображений.

Какой механизм запускает самоуверенные прогнозы по образцам OOD?

Исследования показывают, что эти прогнозы с высокой достоверностью часто создаются softmax, потому что вероятности softmax вычисляются с помощью быстрорастущей экспоненциальной функции (см. рис. 3), что означает, что незначительные дополнения к входным данным softmax, т. е. логитам, могут привести к существенным изменениям в выходное распределение. Кроме того, поскольку функция softmax представляет собой гладкую аппроксимацию индикаторной функции, редко можно увидеть равномерное распределение, выводимое для примеров вне распределения. Действительно, даже случайный гауссовский шум, введенный в классификатор изображений MNIST, может дать вероятность «достоверности прогноза» на уровне 91% высокого балла. [2]

Как мы разрабатываем методы для обнаружения образцов в процессе распространения (ID) и образцов вне распространения (OOD)?

Методы на основе классификации, методы на основе плотности и методы на основе расстояния — это три способа достижения этой цели. В этом блоге мы выбираем одну ветвь методов на основе классификации, потому что ее можно применить к любой хорошо обученной нейронной сети без дальнейшего переобучения сетей.

Макс-Софтмакс

Вероятность предсказания неправильных примеров и примеров вне распределения, как правило, ниже, чем вероятность предсказания для правильных примеров, поэтому сбора статистики вероятности предсказания правильных примеров или примеров в выборке часто бывает достаточно для обнаружения OOD [2]. Таким образом, простая базовая линия использует максимальную вероятность softmax в качестве индикатора ID-ness. Классический метод – Max-Softmax.

Обнаружение OOD можно рассматривать как проблему бинарной классификации с двумя классами: внераспределение и внутрираспределение. Что касается тестовых данных, их метка задается как 0 (обозначает OOD) или 1 (обозначает ID). Для обнаружения у нас есть два класса, и детектор выводит оценку как для положительных, так и для отрицательных классов. Мы вычисляем максимальную вероятность softmax как оценку детектора, а пороговая дельта выбирается таким образом, чтобы доля изображений в распределении, правильно классифицированных как изображения в распределении, составляла 95%. Мы говорим, что изображение x является образцом, находящимся в распространении, если оценка softmax выше порогового значения, и что изображение x является образцом, находящимся вне распространения, в противном случае.

Я хочу немного подробнее объяснить, почему мы выбрали AURPC и AUPR для измерения показателей оценки. Поскольку мы определяем OOD как положительный класс, а ID как отрицательный класс, детектор всегда может угадать отрицательный класс и получить высокую точность, потому что количество выборок ID намного больше, чем у выборки OOD, что означает, что класс ID гораздо более вероятно, чем класс OOD. Столкнувшись с этой проблемой, нам нужно указать порог оценки, чтобы некоторые положительные примеры были правильно классифицированы. Но это зависит от компромисса между ложноотрицательными (FN) и ложноположительными (FP).

AUROC (площадь под кривой рабочей характеристики приемника) является оптимальным выбором. Кривая ROC представляет собой график, показывающий соотношение между истинно положительными показателями (TPR=TP/(TP+FN)) и ложноположительными показателями (FPR=FP/(FP+TN)). Для каждого порога мы рассчитываем TPR и FPR и наносим их на один график. AUROC означает площадь под ROC-кривой (см. рис. 5).

AUPR (площадь под кривой точности-отзыва) играет дополнительную роль для AUROC. Это связано с тем, что AUROC не идеален, когда положительный класс и отрицательный класс сильно дисбалансированы, и AUPR приспосабливается к этому. Более того, AUPR помогает, когда мы больше заботимся о положительном (OOD), чем отрицательном (ID) классе. Кривая PR отображает точность (TP/(TP+FP)) и полноту (FP/(TP+FN)) друг против друга. AUPR – площадь под кривой PR (см. рис. 5).

Другие методы, следующие за Max-Softmax

После метода Max-Softmax большая часть работы по обнаружению OOD была сосредоточена на определении более подходящих мер неопределенности OOD для улучшения разделения распределений оценок неопределенности ID и OOD, что позволяет более эффективно обнаруживать. В следующем разделе будут представлены три репрезентативных метода — ODIN, Energy и ReAct. Все три метода не требуют переобучения нейронной сети и легко реализуемы на любой современной нейронной архитектуре.

ODIN: Повышение надежности обнаружения изображений вне распространения в нейронных сетях [4]

В этой статье предлагается ODIN, который сочетает в себе добавление небольших возмущений к входным данным и использование температурного масштабирования для оценки softmax. Достаточно высокая температура имеет сильный эффект сглаживания, который преобразует оценку softmax обратно в логит-пространство. Эти методы помогают увеличить разрыв в баллах softmax между входом и выходом из дистрибутива.

Энергия: обнаружение перераспределения на основе энергии[5]

В отличие от показателей достоверности softmax, показатели энергопотребления можно согласовать с плотностью входных данных, что приведет к повышению эффективности обнаружения OOD. Основная идея заключается в использовании невероятностной функции энергии, которая приписывает более низкие значения данным в распределении и более высокие значения данным вне распределения.

На рис. 10 сравнивались распределения показателей softmax и Energy. Показатели энергии, рассчитанные на основе предварительно обученной сети как по данным обучения, так и по данным OOD, естественным образом образуют плавные распределения, в то время как показатели softmax как для данных в распределении, так и для данных вне распределения концентрируются на высоких значениях. Энергия успешно делает оценки более различимыми между ID и OOD.

ReAct: обнаружение отсутствия распространения с исправленными активациями [6]

Эта работа раскрывает одну фундаментальную причину самоуверенности, которая заключается в том, что данные OOD могут запускать шаблоны активации юнитов, которые значительно отличаются от данных ID. На рис. 11 мы видим, что средняя активация для данных ID (синий цвет) ведет себя хорошо с почти постоянным средним значением и стандартным отклонением, в то время как для данных OOD (серый цвет) средняя активация смещена в сторону резких положительных значений. В результате такая высокая активация блока может привести к чрезмерно уверенным прогнозам данных OOD в выходных данных модели. ReActпредоставляется как простая стратегия исправления активации, в которой используется усечение активации. Операция применяется поэлементно к признаку xна предпоследнем слое DNN, гдеReAcr(x;c) = min(x, c) ипараметр исправленияcвыбирается для сохранения активации для идентификационных данных при исправлении данных OOD.

Почему образцы OOD вызывают аномальные модели активации юнитов?

В этом документе дается одно объяснение, связанное с нормализацией пакетов (BatchNorm).

Пакетная нормализация — это механизм, который направлен на стабилизацию распределения по мини-пакету входных данных для данного сетевого уровня во время обучения, устанавливая среднее значение и дисперсию распределения каждой активации равными нулю и единице соответственно.[7]

Во время обучения мы рассчитываем среднее значение и стандартное отклонение данных мини-пакета и каждый раз обновляем эту статистику.

Однако во время вывода среднее значение и стандартное отклонение основаны на предыдущих оценках при обучении и являются фиксированными.

В задаче обнаружения OOD статистика ID и OOD сильно различается. Если статистика BatchNorm, оцениваемая по распределению идентификаторов, слепо применяется к распределению OOD, может быть вызвана активация высокой единицы. Явление самоуверенности может быть вызвано несоответствием статистических данных, используемых во время вывода.

Заключение

Применение обнаружения OOD обычно попадает в критичные с точки зрения безопасности ситуации, и ему уделяется все больше внимания. Было разработано много практических методов, но лишь немногие исследования сосредоточены на изучении внутренних механизмов нейронных сетей для обнаружения OOD. Поскольку ReAct дал представление о несоответствии статистики, я надеюсь, что этот блог может вдохновить вас, и, если возможно, вы могли бы углубиться в этот аспект и пойти дальше.

Благодарность

Сяосяо — мой питомец, очень непослушный мальчик. Я действительно не мог не поделиться с вами его фотографией!

Ссылка:

[1] Ян, Цзинкан и др. «Общее обнаружение вне распределения: опрос». Препринт arXiv arXiv: 2110.11334 (2021 г.).

[2] Хендрикс, Дэн и Кевин Гимпел. «Основа для обнаружения неправильно классифицированных и нераспространяемых примеров в нейронных сетях». препринт arXiv arXiv:1610.02136 (2016 г.).

[3] Лян, Шию, Исюань Ли и Раядургам Срикант. «Повышение надежности обнаружения изображений вне распространения в нейронных сетях». препринт arXiv arXiv:1706.02690 (2017 г.).

[4] Лян, Шию, Исюань Ли и Раядургам Срикант. «Повышение надежности обнаружения изображений вне распространения в нейронных сетях». препринт arXiv arXiv:1706.02690 (2017 г.)

[5] Лю, Вейтан и др. «Обнаружение выхода за пределы распределения на основе энергии». Достижения в области нейронных систем обработки информации 33 (2020): 21464–21475.

[6] Сунь, Ию, Чуань Го и Исюань Ли. «Реакция: обнаружение отсутствия распространения с исправленными активациями». Достижения в области нейронных систем обработки информации 34 (2021): 144–157.

[7] Сантуркар, Шибани и др. «Как нормализация партии помогает оптимизации?» Достижения в области нейронных систем обработки информации 31 (2018 г.).

[8] Иоффе, Сергей и Кристиан Сегеди. «Пакетная нормализация: ускорение глубокого обучения сети за счет уменьшения внутреннего ковариатного сдвига». Международная конференция по машинному обучению. ПМЛР, 2015.

[9] Опасность пакетной нормализации в глубоком обучении — Mindee

[8](34条消息) Out-of-distribution Detection系列专栏（三）_DS..的博客-CSDN博客