- Использование слабой аннотации для пиксельной аннотации с помощью модели «нулевой сегмент» для чего-либо для молекулярного обучения (arXiv)
Автор: Сюэюань Ли, Разрушающий Дэн, Ючэн Тан, Шуньсин Бао, Хайчунь Ян, Юанькай Хо
Аннотация: Точная идентификация нескольких классов клеток в гигапиксельной визуализации целых слайдов (WSI) с высоким разрешением имеет решающее значение для различных клинических сценариев. Для построения модели ИИ для этой цели обычно требуются аннотации на уровне пикселей, которые часто не масштабируются и должны выполняться опытными экспертами в предметной области (например, патологами). Однако эти аннотации могут быть подвержены ошибкам, особенно при различении сложных типов клеток (например, подоцитов и мезангиальных клеток) с использованием только визуального осмотра. Интересно, что недавнее исследование показало, что непрофессиональные аннотаторы при использовании дополнительных изображений иммунофлуоресценции (IF) для справки (так называемое молекулярное обучение) иногда могут превосходить экспертов в области маркировки. Несмотря на это, ресурсоемкая задача ручного разграничения остается необходимостью в процессе аннотирования. В этой статье мы исследуем потенциал обхода разграничения на уровне пикселей путем использования последней модели сегментирования чего угодно (SAM) для аннотаций слабых блоков в подходе обучения с нулевым выстрелом. В частности, мы используем способность SAM создавать аннотации на уровне пикселей из аннотаций блоков и использовать эти сгенерированные SAM метки для обучения модели сегментации. Наши результаты показывают, что предлагаемое молекулярное обучение с помощью SAM (SAM-L) может уменьшить усилия по маркировке для непрофессионалов, требуя только аннотаций слабых блоков. Это достигается без ущерба для точности аннотаций или производительности сегментации на основе глубокого обучения. Это исследование представляет собой значительный прогресс в демократизации процесса аннотирования для обучения сегментации патологических изображений с использованием исключительно неопытных аннотаторов.
2.SAMAug: увеличение подсказок для модели Segment Anything (arXiv)
Автор: Хасин Дай, Чонг Ма, Чжэнлян Лю, Ивэй Ли, Пэн Шу, Сяочжэн Вэй, Лин Чжао, Цыхао Ву, Дацзян Чжу, Вэй Лю. », Цюаньчжэн Ли, Тяньмин Лю, Сян Ли
Аннотация: В этой статье представлен SAMAug, новый метод увеличения визуальных точек для модели Segment Anything Model (SAM), который повышает производительность сегментации интерактивных изображений. SAMAug генерирует дополнительные подсказки для предоставления SAM дополнительной информации. На основе приглашения начальной точки SAM создает начальную маску, которая затем передается в предложенный нами SAMAug для создания расширенных приглашений точки. Включив эти дополнительные точки, SAM может генерировать расширенные маски сегментации на основе подсказок расширенных точек и исходной подсказки, что приводит к повышению производительности сегментации. Мы оцениваем четыре метода увеличения точек: случайный выбор, максимальная разностная энтропия, максимальное расстояние и модель заметности. Эксперименты с наборами данных COCO, Fundus и рентгенограммы грудной клетки показывают, что SAMAug может улучшить результаты сегментации SAM, особенно с использованием методов модели максимального расстояния и заметности. SAMAug подчеркивает потенциал визуальной оперативной разработки для продвижения интерактивных моделей компьютерного зрения.
