В наши дни карикатура на основе ИИ имеет множество практических применений — от персонализированных аватаров в стиле аниме до видео и даже изобразительного искусства. Однако многие фреймворки для создания карикатур в виде «черного ящика» предоставляют пользователям ограниченный контроль или возможности настройки при преобразовании реальных фотографий в мультяшные сцены. Теперь исследователи из ByteDance, Токийского университета и Style2Paints Research представили платформу, которая может создавать высококачественные мультяшные изображения со значительно улучшенной управляемостью, чтобы удовлетворить требования художников в более широком диапазоне стилей и вариантов использования.
Те, у кого есть опыт работы с процессом мультипликации, поймут трудности, связанные с адаптацией различных стилей мультфильмов и вариантов использования, когда для разработки полезных алгоритмов могут потребоваться предположения для конкретной задачи или предварительные знания. Некоторые рабочие процессы создания мультфильмов, например, уделяют больше внимания темам глобальной палитры и рассматривают резкость линий как второстепенную проблему. Между тем, художественный стиль в других рабочих процессах может видеть доминирующую роль разреженных и чистых цветовых блоков с относительно менее акцентированными темами глобальной палитры. Модели карикатуры «черный ящик» с трудом справляются с такими разнообразными требованиями рабочего процесса, и использование модели «черного ящика» для непосредственного соответствия обучающим данным может негативно сказаться на универсальности и качестве стилизации, что приведет к некачественным результатам.
Исследователи консультировались с художниками и наблюдали за поведением мультяшных рисунков, чтобы определить три отдельных представления мультяшных изображений: представление поверхности, которое содержит гладкие поверхности, представление структуры, которое относится к разреженным цветным блокам и сглаживает глобальное содержимое в рабочем процессе в стиле целлулоида и представление текстуры, которое отражает высокочастотную текстуру, контуры и детали мультипликационных изображений. Модули обработки изображений извлекают каждое представление, а структура генеративно-состязательной сети (GAN) используется для изучения извлеченных представлений и мультипликации входных изображений. Стили вывода можно контролировать, регулируя вес каждого представления в функции потерь.
В пользовательском исследовании с 10 респондентами и 30 изображениями предложенный подход превзошел три существующих метода мультипликации как по качеству мультфильма (сходство между входными изображениями и изображениями мультфильма), так и по общему качеству (выявление нежелательных цветовых сдвигов, искажений текстуры, высокочастотного шума или другие артефакты на изображениях).
Статья Учимся мультипликации с использованием мультипликационных представлений белого ящика находится на GitHub. Нажмите здесь, чтобы перейти на страницу проекта.
Аналитик: Грейс Дуан | Редактор: Майкл Саразен; Фанюй Кай
Синхронизированный отчет | Обзор китайских решений искусственного интеллекта в ответ на пандемию COVID-19 — 87 тематических исследований от более чем 700 поставщиков ИИ
В этом отчете предлагается взглянуть на то, как китайское правительство и владельцы бизнеса используют технологии искусственного интеллекта в борьбе с COVID-19. Он также доступен на Amazon Kindle.
Нажмите здесь, чтобы найти больше отчетов от нас.
