Эта новая и совершенно бесплатная модель искусственного интеллекта может исправить большинство ваших старых изображений за доли секунды!

Первоначально опубликовано на louisbouchard.ai, прочитайте за 2 дня до этого в моем блоге!

Посмотрите видео, чтобы увидеть больше результатов:

Есть ли у вас также старые фотографии вас или ваших близких, которые плохо состарились или которые вы или ваши родители сделали до того, как мы смогли сделать высококачественные изображения? Да, и я чувствовал, что эти воспоминания были повреждены навсегда. Мальчик, я был неправ!

Эта новая и совершенно бесплатная модель искусственного интеллекта может исправить большинство ваших старых изображений за доли секунды. Он хорошо работает даже с очень низкими или высококачественными входными данными, что обычно является довольно сложной задачей.

В опубликованной на этой неделе статье под названием «На пути к восстановлению слепых лиц в реальном мире с помощью генеративного лицевого априора» задача восстановления фотографий решается с выдающимися результатами. Что еще круче, так это то, что вы можете попробовать это сами и любым удобным для вас способом. Они открыли свой код, создали демо-версию и онлайн-приложения, которые вы можете попробовать прямо сейчас. Если результаты, которые вы видели выше, недостаточно убедительны, просто посмотрите видео и дайте мне знать, что вы думаете в комментариях, я знаю, что это поразит вас!

Я упомянул, что модель хорошо работала на некачественных изображениях. Просто посмотрите на результаты и уровень детализации по сравнению с другими подходами…

Эти результаты просто невероятны. Они не отражают фактическое изображение. Важно понимать, что эти результаты — всего лишь догадки модели — догадки, которые кажутся чертовски близкими. Человеческим глазам это кажется одним и тем же изображением, представляющим человека. Мы не могли догадаться, что модель создала больше пикселей, ничего не зная о человеке.

Поэтому модель изо всех сил старается понять, что на картинке, заполнить пробелы или добавить пиксели, если изображение имеет низкое разрешение. Но как это работает? Как модель ИИ может понять, что на картинке и, что более впечатляюще, понять, чего на ней нет, например, что было на месте этой царапины?

Что ж, как вы увидите, GAN еще не умерли! Действительно, исследователи не создали ничего нового. Они *просто* максимизировали производительность GAN, максимально помогая сети. А что может быть лучше для поддержки архитектуры GAN, чем использование другой GAN?

Их модель не просто так называется GFP-GAN. GFP расшифровывается как Generative Facial Prior, и я уже рассказывал, что такое GAN, в нескольких видео, если это звучит для вас как другой язык. Например, модель PULSE, которую я рассмотрел в прошлом году для повышения частоты дискретизации изображения, использует предварительно обученные GAN, такие как StyleGAN-2 от NVIDIA, и оптимизирует кодировки, называемые скрытым кодом, во время обучения для улучшения качества реконструкции. Опять же, если вам ничего не известно, пожалуйста, уделите несколько минут просмотру видео, которое я сделал для модели PULSE.

Модель GFP-GAN…

Однако, как говорится в документе, «эти методы [*относится к PULSE*] обычно дают изображения с низкой точностью, поскольку скрытых кодов малой размерности недостаточно для управления восстановлением».

Напротив, GFP-GAN не *просто* берет предварительно обученный StyleGAN и повторно обучает его, чтобы ориентировать закодированную информацию для своей задачи, как это делает PULSE.
Вместо этого GFP-GAN использует предварительно обученный StyleGAN- 2 ориентировать собственную генеративную модель в нескольких масштабах при кодировании изображения вплоть до скрытого кода и вплоть до реконструкции. Вы можете видеть это в зеленой зоне выше, где мы объединяем информацию из нашей текущей модели с предварительно обученной GAN, предварительно используя их метод SFT с разделением каналов. Вы можете найти больше информации о том, как именно они объединяют информацию из двух моделей, в документе, ссылка на который приведена ниже.

Предварительно обученный StyleGAN-2 (зеленый участок) в этом случае является нашим предварительным знанием, поскольку он уже знает, как обрабатывать изображение, но для другой задачи. Это означает, что они помогут своей модели восстановления изображения лучше соответствовать функциям на каждом этапе, используя эту предварительную информацию из мощной предварительно обученной модели StyleGAN-2, которая, как известно, создает значимые кодировки и генерирует точные изображения. Это поможет модели достичь реалистичных результатов при сохранении высокой точности.

Поэтому вместо того, чтобы просто ориентировать обучение на основе разницы между сгенерированным (фальшивым) изображением и ожидаемым (реальным) изображением, используя нашу модель дискриминатора из сети GAN. У нас также будет две метрики для сохранения идентичности и компонентов лица. Эти две дополнительные метрики, называемые потерями, помогут улучшить детали лица и, как говорится, гарантировать, что мы сохраняем личность человека или, по крайней мере, делаем все возможное для этого. См. правую часть изображения выше.

Потеря компонента лица — это в основном то же самое, что и потеря враждебного дискриминатора, которую мы обнаруживаем в классических GAN, но фокусируется на важных локальных особенностях результирующего изображения, таких как глаза и рот.

Потеря с сохранением личности использует предварительно обученную модель распознавания лиц, чтобы захватить наиболее важные черты лица и сравнить их с реальным изображением, чтобы увидеть, есть ли у нас тот же человек на сгенерированном изображении.

И вуаля! Мы получаем эти фантастические результаты реконструкции изображения, используя всю эту информацию из различных потерь… (смотрите видео для получения дополнительных результатов!)

Все результаты, показанные в видео, были получены с использованием самой последней версии их модели, версии 1.3. Вы можете видеть, что они открыто делятся недостатками своего подхода, что довольно круто.

И здесь я просто хотел вернуться к тому, о чем я упоминал ранее, что является второй слабостью: «небольшое изменение идентичности». Действительно, так и будет, и мы ничего не можем с этим поделать. Мы можем ограничить этот сдвиг, но не можем быть уверены, что реконструированная картинка будет идентична исходной. Это просто невозможно. Реконструкция того же человека по изображению с низким разрешением означала бы, что мы точно знаем, как этот человек выглядел в то время, чего мы не знаем. Мы основываемся на наших знаниях о людях и о том, как они обычно выглядят, чтобы делать предположения по размытой картинке и создавать сотни новых пикселей.

Полученное изображение будет выглядеть так же, как наш дедушка, если нам повезет. Но он также может выглядеть совершенно незнакомым, и вы должны учитывать это при использовании таких моделей. Тем не менее, результаты фантастические и удивительно близки к реальности. Я настоятельно рекомендую вам поиграть с ним и создать собственное представление о модели и результатах. Ссылка на их код, демонстрацию и приложения находится в ссылках ниже.

Дайте мне знать, что вы думаете, и я надеюсь, вам понравилась статья!

Прежде чем уйти, если вас интересует этика ИИ; В ближайшие дни я отправлю следующую итерацию нашего информационного бюллетеня с мнением Мартины об этических соображениях таких методов. Оставайтесь с нами!

Если вам нравится моя работа и вы хотите быть в курсе ИИ, обязательно подписывайтесь на меня в других моих аккаунтах в социальных сетях (LinkedIn, Twitter) и подписывайтесь на мою еженедельную новостную рассылку ИИ. сильный>»!

Чтобы поддержать меня:

  • Подпишитесь на меня здесь, на medium.
  • Хотите заняться ИИ или улучшить свои навыки, прочитайте это!

Рекомендации