Матирование изображения относится к проблеме извлечения интересных целей, обычно объектов на переднем плане, из статического изображения или видеоряда, что играет важную роль во многих приложениях для редактирования изображений и видео.

Deep Image Matting – это модель машинного обучения для высокоточной оценки переднего плана, анонсированная в апреле 2017 года.



Глубокое матирование изображения
Матирование изображения — это фундаментальная проблема компьютерного зрения, имеющая множество применений. Предыдущие алгоритмы плохо…arxiv.org



Глубокое матирование изображения выполняет оценку переднего плана с высокой точностью, используя изображения RGB и TRIMAP в качестве входных данных, где TRIMAP — это изображение со значением, равным 255 для объектов переднего плана, 0 для фона и 127 для областей, где оно неясно, является ли это частью переднего плана или фона.

TRIMAP обычно создаются вручную или с помощью камер глубины, но в последние годы их также можно создавать с помощью моделей сегментации.



foamliu/Deep-Image-Matting
На случай, если вам интересно, Deep Image Matting v2 — это его обновленная версия. Этот репозиторий предназначен для воспроизведения…github.com



Ввод и вывод матирования глубокого изображения

Ниже приведен пример входного изображения.

Соответствующий TRIMAP

И конечное изображение результата.

Поскольку Deep Image Matting был обучен на изображениях с разрешением 320 x 320, разрешение на выходе также будет 320 x 320.

Использование в ailia SDK

Вы можете запустить Deep Image Matting в ailia SDK с помощью следующей команды, которая выводит PNG с альфа-каналом, передавая изображение RGB и изображение TRIMAP в качестве аргументов.

python3 deep-image-matting.py -i image.png -t trimap.png


ailia-models/background_removal/deep-image-matting at master · axinc-ai/ailia-models
input image input trimmap (от…github.com



В ailia SDK TRIMAP также может создаваться автоматически. Укажите пустую строку в качестве аргумента TRIMAP, чтобы использовать Deep Image Matting в сочетании с моделью сегментации для автоматического создания TRIMAP.

python3 deep-image-matting.py -i pixaboy.jpg -t “”

Ниже приведены различные шаги, выполняемые внутри для создания TRIMAP на следующем входном изображении.

DeeplabV3 используется для автоматической сегментации.

Ниже результат после бинаризации.

Затем создается TRIMAP с использованием cv2.erode и cv2.dilate.

И окончательный результат модели Deep Image Matting.

Связанная тема



U2Net: модель машинного обучения, выполняющая обрезку объектов за один кадр
Представляем U2Net, модель машинного обучения, которую можно использовать с ailia SDK. Вы можете легко внедрить функции ИИ в…medium.com



Топор Инк. разработал ailia SDK, который обеспечивает кросс-платформенный быстрый вывод на основе графического процессора.

ax Inc. предоставляет широкий спектр услуг от консалтинга и создания моделей до разработки приложений и SDK на основе ИИ. Не стесняйтесь связаться с нами для любого запроса.