NVIDIA открыла забавную онлайн-платформу искусственного интеллекта, которая может менять мордочки домашних животных на других животных. Просто загрузите фотографию вашего Спота или Сильвестра, нарисуйте прямоугольник вокруг его головы, нажмите Перевести и вуаля! ИИ будет генерировать изображения русских волкодавов, французских бульдогов и даже американских черных медведей, соответствующие стилю и позе вашего драгоценного питомца.
Технология, лежащая в основе эффекта, - это новый FUNIT от NVIDIA, алгоритм AI для преобразования изображений, который продемонстрировал впечатляющую производительность при преобразовании изображений из одного домена в другой с использованием относительно небольших наборов данных изображений. Преобразование изображения в изображение - это все более популярная область исследований в области машинного обучения, которая обещает широкий спектр приложений для передачи стилей, преобразования объектов и улучшения фотографий.
Глядя на изображения незнакомого животного, люди могут использовать свое воображение и / или предшествующие знания, чтобы угадать, как животное может появиться в разных позах. Например, впервые увидев изображение газели, человек может сравнить ее с оленем, чтобы представить, как она будет сидеть, стоять или бегать. Современные методы машинного обучения лишены этой способности передавать человеческое воображение и поэтому требуют крупномасштабных обучающих наборов данных, охватывающих все классы животных.
Модель CycleGAN Калифорнийского университета в Беркли 2017 (Непарное преобразование изображения в изображение с использованием согласованных с циклом состязательных сетей) была обучена на 939 изображениях из класса дикая лошадь и 1177 изображениях из класса зебра. набора данных ImageNet, чтобы добиться эффективного преобразования "лошадь-зебра". Исследователи NVIDIA стремились сократить количество требуемых данных с помощью этого нового метода, который черпает вдохновение в человеческой способности к обобщениям.
Результатом стала неконтролируемая система преобразования изображений в изображения из нескольких кадров FUNIT. Исследователи обучили FUNIT набором данных изображений различных видов животных, а затем представили изображения из классов объектов, которые модель не видела во время обучения. . Цель состояла в том, чтобы преобразовать входное изображение из обучающей выборки в изображение, напоминающее изображения в этом новом классе.
Основанная на генеративных состязательных сетях (GAN), фреймворк FUNIT включает в себя транслятор изображений с несколькими снимками, который состоит из кодировщика контента, кодировщика классов и декодера, а также многозадачный состязательный дискриминатор. Две нейронные сети предлагают друг другу оптимизировать свои веса до тех пор, пока сгенерированные данные не станут неотличимы от реальных данных.
Исследователи добавили птиц, цветы и еду в набор обучающих данных по переводу изображений. Результаты показали, что фреймворк FUNIT превосходит базовые показатели для небольших неконтролируемых задач преобразования изображений в изображения как для наборов данных «Лица животных», так и для наборов данных «Птицы Северной Америки» и может успешно переводить изображения из исходных классов в аналогичные изображения новых классов.
Однако исследователи обнаружили, что модель не сможет генерировать реалистичные изображения, если внешний вид новых классов объектов резко отличается от обучающего набора. Это означает, что он не может сгенерировать перевод, например, с котенка на пирог с пиццей.
Статья Неконтролируемый перевод изображения в изображение с помощью нескольких кадров находится на arXiv.
Журналист: Тони Пэн | Редактор: Майкл Саразен
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
