Какая связь между Style Transfer и GAN?

Я только начинаю с этих тем. Насколько мне известно, перенос стилей берет контент из одного изображения, а стиль из другого, для создания или воссоздайте первое в стиле второго, тогда как GAN генерирует совершенно новые изображения на основе обучающего набора .

Но я вижу много мест, где эти два используются как взаимозаменяемые, например, этот блог здесь и другие места, где GAN используется для передачи стилей, например эта статья здесь

Являются ли GAN и передача стиля двумя разными вещами, или GAN - это метод реализации передачи стиля, или это разные вещи, выполняющие одно и то же? Где именно граница между ними?


deep-learning neural-network conv-neural-network generative-adversarial-network style-transfer
person Judy T Raj    schedule 11.03.2019    source источник

Ответы (2)


arrow_upward
5
arrow_downward

GAN - это архитектура нейронной сети

передача стиля - это метод обработки (набор) (может быть таким простым, как оттенки серого или размытие)

Итак, отношение:

  • GAN можно использовать для передачи стилей. (и другие вещи)

Чтобы сделать его более сложным (надеюсь, это поможет кое-что прояснить), если вы думаете, что вектор признаков - это стиль изображения, тогда feature vector -> image преобразование - это перенос стиля :)

person apple apple    schedule 11.03.2019

arrow_upward
1
arrow_downward

GAN - более обобщенная модель, чем Style Transfer. Оба метода пытаются решить одну и ту же проблему, но используют разные подходы. Передача стилей пытается сохранить содержимое изображения без изменений при применении стиля другого изображения. Он извлекает содержимое и стиль из средних слоев модели NN. Он фокусируется на изучении содержимого и стиля изображения по отдельности, но в GAN модель пытается изучить все отображение из одной области в другую, не разделяя изучение контекста и стиля.

loss function of style transfer = Loss(content) + Loss(style)
loss function of GAN = loss(cycle consistency) + loss(adversarial)

person Shweta Baranwal    schedule 24.07.2020