Традиционно для обнаружения аномалий изображения требуются сотни обучающих данных, а это трудоемкий и часто непрактичный процесс, особенно когда обычные данные недоступны. Ландшафт этого важнейшего аспекта машинного обучения вот-вот изменится с появлением революционной системы «Сегментировать любую аномалию» (SAA+), которая объединяет мощь технологий глубокого обучения и машинного обучения.
Segment Any Anomaly + (SAA+) — это расширение SAA, которое включает регуляризацию гибридных подсказок для сегментации аномалий с нулевым выстрелом. Этот метод позволяет использовать различные модели фундамента без необходимости обучения, повышая приспособляемость системы.
Основным преимуществом SAA+ являются гибридные подсказки. Они создаются путем объединения подсказок, специфичных для нормальности и аномалии, чтобы уловить суть различных моделей аномалий. Путем обширных экспериментов SAA+ продемонстрировал свою способность адаптировать базовые модели к нулевой сегментации аномалий, достигнув передовой производительности на различных наборах данных сегментации аномалий.
SAA+ также предлагает ручной и автоматический режимы, предоставляя пользователям дополнительный контроль над своими операциями. В целом, SAA и его расширенная версия SAA+ могут стать следующим революционным инструментом в области обнаружения аномалий и сегментации изображений, установив новый стандарт точности, адаптивности и эффективности.
Прорыв в обнаружении аномалий
Новаторская модель SAA+ предлагает два основных преимущества, которые отличают ее от традиционных моделей обнаружения аномалий. Во-первых, он устраняет необходимость в обычных обучающих данных — функция, которая экономит время и ресурсы, повышая эффективность. Во-вторых, это позволяет ввести в модель знания предметной области, позволяя пользователям информировать модель о характеристиках аномалий. Этот процесс помогает выявить тенденции в аномалиях, улучшение, которое не могли обеспечить предыдущие методы.
Порядок работы
SAA использует пользовательскую модель, которая объединяет две существующие модели: модель DINO (заземление) и модель SAM (сегментация). >). Основная цель этой архитектуры — определить и уточнить определенные области интереса (RoI) в изображении на основе набора текстовых подсказок. Реализованная модель работает, сначала предлагая области изображения на основе текстовых описаний с использованием модели DINO. Эти регионы затем уточняются с помощью модели SAM. В код также встроен визуальный извлекатель важности, предварительно обученный в ImageNet, для определения важности различных областей изображения. Кроме того, модель использует набор параметров, включая порог поля, порог текста и другие, для настройки производительности.
После определения и уточнения интересующих областей система вычисляет их визуальную значимость, применяет подавление ограничивающей рамки и оценивает их по пороговым значениям, чтобы отфильтровать нерелевантные области. Архитектура также имеет возможность предлагать области потенциальных дефектов на изображении, переоценивать эти области на основе их визуальной отчетливости (заметности) и создавать окончательную карту аномалий, указывающую области, в которых дефект может присутствовать. Модель возвращает эту карту аномалий вместе с приложением, которое содержит карту подобия для дальнейшего анализа.
По сути, система представляет собой сложный инструмент для анализа изображений, который объединяет визуальные и текстовые данные для обнаружения, уточнения и оценки областей интереса на изображении, что особенно полезно при выявлении аномалий или дефектов.
Начать работу с SAA+ просто. Посетив официальный репозиторий и запустив все ячейки в блокноте Colab, пользователи могут инициировать процесс обнаружения аномалий всего за несколько кликов.
Ссылка на Github, Демонстрационная ссылка, Ссылка на обнимание лица
Первоначальные испытания системы показали многообещающие результаты: модель точно идентифицировала аномалии, используя простую подсказку: «дефект» в текстовых подсказках.
При тестировании с более сложными изображениями SAA потребовалось немного настроить. Настроив подсказку для описания аномалии и отфильтровав порог ограничивающей рамки, SAA обеспечил почти идеальную сегментацию, впечатляющее достижение, подчеркивающее его потенциал в обработке сложных изображений.
Первые впечатления и возможные проблемы
Одной из проблем с SAA+ является время вывода. Система опирается на массивную модель и большое количество пикселей, что может задержать процесс логического вывода. Однако с возможными улучшениями, такими как уменьшение размера модели и количества пикселей, это узкое место можно было бы преодолеть. Комбинируя SAA с первичным фильтром, таким как PaDiM, а также добавляя, например, последовательную фильтрацию, LSHF, кодер-декодер на основе Vision Transformer, а также иерархическое представление признаков и регрессию гауссовского процесса, точность и время вывода могут быть дополнительно улучшены.
Тем не менее, SAA+ предлагает отличные возможности настройки, позволяя пользователям регулировать размер аномалии и подсказку в соответствии с конкретными потребностями. Хотя настройка может быть сложной, возможность заранее вводить характеристики аномалий увеличивает вероятность обнаружения аномалий, которые могут быть пропущены традиционными методами.
Область обнаружения аномалий изображения быстро развивается, и в настоящее время разрабатывается множество инновационных методов и алгоритмов. SAA, SPADE, Gaussian-AD, AnoViT, Hierarchical Feature Representation и Gaussian Process Regression, а также набор данных MVTec Anomaly Detection — это лишь несколько примеров множества инструментов и ресурсов, доступных для исследователей и практиков в этой области.
Таким образом, интеграция машинного обучения и глубокого обучения в революционную систему SAA открывает огромные перспективы для обнаружения аномалий в будущем. Его инновационные функции и функции означают значительный скачок в направлении более точного, эффективного и адаптируемого обнаружения аномалий.
