"Компьютерное зрение"

Создавайте младшие и старые версии себя!

С помощью одной фотографии, на которой вы изображены в любом возрасте, эта модель может создать реалистичную и довольно точную версию вас самих на протяжении всей вашей жизни!

Команда исследователей из Adobe Research разработала новую технику синтеза возрастных преобразований, основанную только на одном изображении человека.
Он может создавать изображения продолжительности жизни из любого изображения, которое вы ему прислали.

Просто посмотрите, насколько хороши их результаты по сравнению с предыдущими современными методами. Это суперреалистично, и каждая фотография действительно кажется одним и тем же человеком в разном возрасте. Это обычно называется проблемой прогрессии и регрессии одного фотоэра, когда цель состоит в том, чтобы предсказать, как человек может выглядеть в будущем или как он выглядел в прошлом. Как вы можете видеть здесь, большинство современных методов действительно ограничены. Они часто упускают из виду форму головы и текстуру кожи, которые обычно меняются с возрастом. Ограничение нынешних подходов тесным разрывом между возрастами, а не синтезом трансформации полной продолжительности жизни.

Они решили эту проблему с помощью совершенно новой архитектуры модели.
Я просто шучу, они также используют GAN, как и большинство подходов, но с некоторыми модификациями, которые я подробно опишу. Другими словами, это порождающая враждебная сеть. Они называют свой новый метод «многодоменной враждебной сетью преобразования изображения в изображение». По сути, это изучение моделей скрытого пространства, представляющих непрерывный двунаправленный процесс старения. Это означает, что он учится изображать конкретного человека старшего или младшего возраста.

Прежде чем вдаваться в подробности этого нового метода, я просто хотел упомянуть, что они обучили свою модель, используя набор данных FFHQ, полностью помеченный возрастом, полом и семантической сегментацией, а их предварительно обученная модель общедоступна.

Вы можете найти его на их GitHub или даже попробовать их демонстрацию со своими фотографиями в Google Colab! Его можно использовать совершенно бесплатно, и вам даже не понадобится графический процессор для его запуска. Обе ссылки указаны в ссылках в этой статье. Просто обратите внимание, что набор данных FFHQ, на котором он был обучен, содержит гендерный дисбаланс и может давать странные результаты с конкретными изображениями.
Конечно, он дает только приблизительное представление о чьей-то внешности на протяжении всей его или ее жизни, это было бы невозможно для создания того же изображения, но результаты по-прежнему впечатляют.

Теперь давайте углубимся в то, как они этого добились.

Основная цель здесь состояла в том, чтобы изучить деформацию формы головы с течением времени, которую современные подходы игнорируют. Конечно, это была не единственная проблема, им также нужно было изучить изменение внешности в широком диапазоне возрастов, что является непростой задачей. Поскольку не существует наборов данных, которые могли бы дать нам множество изображений одного и того же человека в разном возрасте, они не могли решить эту задачу с помощью обучения с учителем. Где у них были бы все эти изображения с аннотациями пола и возраста человека, что упростило бы задачу.

Вместо этого они использовали архитектуру GAN, чтобы воспользоваться преимуществами состязательного обучения. Если вы не знакомы ни с GAN, ни с тем, как он обучается, я бы посоветовал вам приостановить видео и посмотреть мое введение в GAN, которое все прояснит. Смотрите видео здесь:

Как обычно, есть генератор и дискриминатор. Роль генератора заключается в переходе между возрастами с использованием архитектуры кодировщика-декодера. Если предположить, что даже если внешность человека меняется с возрастом, они сохраняют ту же «идентичность», что означает, что они все равно будут выглядеть одинаково. Зная, что они кодируют возраст и личность отдельно, поэтому они могут применять относительные изменения к каждому из них. Затем он отправляется в скрытое пространство, которое отвечает за аппроксимацию непрерывных возрастных преобразований. Затем они используют классический дискриминатор, который пытается отличить сгенерированные изображения от реальных во время обучения. Как вы можете видеть здесь, сеть использует множественные потери, чтобы итеративно улучшать свои результаты во многих аспектах, таких как соблюдение трансляции идентичности, сохраняя при этом ее максимально возможное значение, и находить хорошие представления для каждого возрастного фрейма. Эти потери и все остальное в этом новом методе подробно объясняется в их статье. Я настоятельно рекомендую вам прочитать его, если вы хотите узнать больше об этой новой статье, ссылка на нее приведена ниже!

Посмотрите еще один пример в этом видео:

Если вам нравится моя работа и вы хотите поддержать меня, я буду очень признателен, если вы подпишетесь на меня в моих каналах в социальных сетях:

  • Лучший способ поддержать меня - подписаться на меня на Medium.
  • Подписывайтесь на мой канал YouTube.
  • Следите за моими проектами в LinkedIn
  • Изучайте ИИ вместе, присоединяйтесь к нашему сообществу Discord, делитесь своими проектами, статьями, лучшими курсами, находите товарищей по команде Kaggle и многое другое!

Ссылки:

Статья: https://arxiv.org/pdf/2003.09764.pdf
GitHub: https://github.com/royorel/Lifespan_Age_Transformation_Synthesis
Colab: https: //colab.research .google.com / github / royorel / Lifespan_Age_Transformation_Synthesis / blob / master / LATS_demo.ipynb