Если бы великий Чарли Чаплин был жив сегодня, он мог бы восхищаться цветными версиями его шедевров комедии, такими как Modern Times или The Idle Class, с помощью искусственного интеллекта. Недавнее исследование от Гонконгского университета науки и технологий представляет полностью автоматический метод окрашивания черно-белых пленок без каких-либо указаний или рекомендаций со стороны человека.
Колорирование фильмов и видео - не новая технология. Небольшое количество фильмов начала 20 века, таких как Путешествие на Луну (1902 г.) и Королевство фей (1903 г.), были тщательно продуманы вручную). цветные, кадр за кадром, людьми. Компьютеризированная окраска была изобретена в 1970-х годах и с тех пор широко используется и постоянно совершенствуется.
Как правило, окрашивание видео включает в себя сначала использование методов окрашивания изображения на отдельных видеокадрах, а затем их объединение. Этот метод представляет собой несколько проблем: восстановление истинных цветов в сцене фильма / видео из изображения в градациях серого; и обеспечение того, чтобы окраска оставалась последовательной и последовательной на протяжении примерно 150 тыс. кадров в 90-минутном фильме.
Для типичных методов окрашивания изображения требуются какие-то помеченные ссылки, в частности, для распространения предоставленного цвета из эталонного изображения или пользовательских эскизов на все изображение в градациях серого. Хотя сообщество исследователей глубокого обучения включило полностью автоматическую окраску изображений, в полностью автоматической окраске видео не произошло соответствующего прорыва. Это побудило авторов статьи исследовать это направление исследований.
Ключевым нововведением в этой статье является новая структура, состоящая из сети окрашивания с методами саморегуляции для улучшения качества окрашивания путем распространения цветов между одинаковыми пикселями видеокадра; и сеть уточнения, разработанная для того, чтобы сделать окраску видео более последовательной за счет улучшения временной согласованности между различными кадрами. Ниже приводится сравнение цветных видео с саморегуляризацией и без нее.
Авторы статьи также предполагают, что оптимальное решение для раскрашивания видео должно позволять генерировать разнообразный набор цветных версий. Поэтому они приняли ранжированную функцию потери разнесения, предложенную в статье CVPR 2018, чтобы различать различные режимы решения. Ниже представлены четыре кадра из трех разных видеороликов, разноцветных с использованием этого подхода.
Чтобы проверить эффективность метода, исследователи провели эксперименты с наборами данных DAVIS и Videvo. Они сравнили свою модель с двумя другими современными, полностью автоматическими подходами к раскрашиванию изображений, которые применялись для покадрового раскрашивания видео. Качественные результаты показали, что новый подход был предпочтительнее в 80,0 процентах сравнений по набору данных DAVIS и в 88,8 процентах сравнений по набору данных Videvo.
Ниже приведены результаты количественного сравнения различных моделей.
Исследователи считают, что их работа по саморегулированию и разнообразию может вдохновить на будущие исследования в области полностью автоматической окраски видео и других задач обработки видео. Последующие приложения для этого метода не ограничиваются окрашиванием движущихся изображений, его также можно использовать в приложениях компьютерного зрения, таких как визуальное понимание и отслеживание объектов.
Для получения дополнительной информации прочтите статью Полностью автоматическая раскраска видео с саморегуляризацией и разнообразием на arXiv.
Журналист: Тони Пэн | Редактор: Майкл Саразен
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на Партнерскую программу Insight, чтобы получить бесплатный полный отчет в формате PDF.
