- SHUNIT: Гармонизация стилей для непарного преобразования изображений в изображения(arXiv)
Автор: Сокбом Сон, Сухён Ли, Хондже Сон, Кёнвон Мин, Ынтай Ким
Аннотация: мы предлагаем новое решение для перевода непарного изображения в изображение (I2I). Чтобы перевести сложные изображения с широким спектром объектов в другую область, в последних подходах часто используются аннотации объектов для выполнения сопоставления стилей источника и цели для каждого класса. Тем не менее, нам остается кое-что использовать в I2I. Объект в каждом классе состоит из нескольких компонентов, и все компоненты подобъекта имеют разные характеристики. Например, автомобиль класса CAR состоит из кузова, шин, окон, фар и задних фонарей и т. д., и для реалистичного перевода I2I они должны обрабатываться отдельно. Самым простым решением проблемы будет использование более подробных аннотаций с аннотациями компонентов подобъектов, чем простые аннотации объектов, но это невозможно. Основная идея этой статьи состоит в том, чтобы обойти аннотации компонентов подобъектов, используя исходный стиль входного изображения, поскольку исходный стиль будет включать информацию о характеристиках компонентов подобъектов. В частности, для каждого пикселя мы используем не только разрыв стиля для каждого класса между исходным и целевым доменами, но и исходный стиль пикселя, чтобы определить целевой стиль пикселя. С этой целью мы представляем гармонизацию стиля для непарной трансляции I2I (SHUNIT). Наш SHUNIT создает новый стиль, согласовывая стиль целевой области, извлеченный из памяти класса, и стиль оригинального исходного изображения. Вместо прямого сопоставления исходного и целевого стилей мы стремимся к гармонизации исходного и целевого стилей. Мы подтверждаем наш метод обширными экспериментами и добиваемся высочайшей производительности на последних наборах тестов. Исходный код доступен онлайн: https://github.com/bluejangbaljang/SHUNIT.
2. DSI2I: плотный стиль для непарного преобразования изображений в изображения(arXiv)
Автор:Баран Озайдин, Тонг Чжан, Сабина Зюсстранк, Матье Зальцманн
Аннотация. Преобразование изображения в изображение на основе непарных образцов (UEI2I) направлено на преобразование исходного изображения в домен целевого изображения со стилем целевого образца изображения, без пар ввода-перевода, основанных на достоверности. . Существующие методы UEI2I представляют стиль, используя либо глобальный вектор признаков на уровне изображения, либо один вектор для экземпляра/класса объекта, но требуют знания семантики сцены. Здесь же, напротив, мы предлагаем представить стиль в виде плотной карты признаков, позволяющей более точно передать исходное изображение, не требуя какой-либо внешней семантической информации. Затем мы полагаемся на перцептивные и враждебные потери, чтобы распутать наши плотные представления стиля и контента, и используем неконтролируемые междоменные семантические соответствия, чтобы деформировать образец стиля к исходному контенту. Мы демонстрируем эффективность нашего метода на двух наборах данных, используя стандартные метрики вместе с новой метрикой локализованного стиля, измеряющей сходство стилей по классам. Наши результаты свидетельствуют о том, что переводы, полученные с помощью нашего подхода, более разнообразны и ближе к образцам, чем переводы, выполненные с использованием современных методов, при этом сохраняя исходный контент.
