С любовью к Винсенту в стиле CNN
В июне прошлого года я посмотрел Loving Vincent. Фильм был рассказом о жизни Ван Гога после Сен-Реми в последний год его жизни в Овер-сюр-Уаз, Франция. История реконструировала психический срыв одинокого художника с точки зрения близких ему людей, ну, по крайней мере, они есть на его картинах. Помимо реконструкции в смысле повествования, фильм был также реконструкцией в плане материала. Весь фильм состоит из анимации переосмысленных картин Ван Гога. Он воссоздал 94 оригинала Ван Гога, создав вокруг них около 67 тысяч картин маслом в качестве ключевых кадров анимации. Излишне говорить, что это огромное сотрудничество тысяч художников и посвященных часов. Подробности закулисья можно найти здесь.
Этот блог о моих экспериментах с картинами Ван Гога и алгоритмом Neural Style Transer (NST). Большинство моих предыдущих попыток с NST привели к посредственным результатам. Проблема в том, что без надлежащей метрики для оценки стилей, которые по своей сути эстетичны, или без эталонных изображений для сравнения, я не знал, как и чем улучшить алгоритм. Любовь к Винсенту сделала именно это, предоставив мне испытательный стенд. В этом блоге мы будем использовать NST для воссоздания некоторых ключевых кадров фильма. Мы сравним результаты с воссозданием картин Ван Гога в кино.. возможно, поразмышляем над тем, могла ли техника NST помочь в производстве фильма, чтобы сэкономить бесчисленное количество часов.. Что ж, говорят, что перо сильнее меча. Иногда кисть сильнее пера. В этом блоге рассказывается о том, что если мы возьмем пулемет в кустарную драку.
Результаты
Здесь я представляю свои результаты экспериментов с алгоритмом Neural Style Transfer (NST). Список изображений имеет форму (изображение стиля, изображение содержимого, вывод NST, переосмысление художника в Любящем Винсенте). Для получения подробной информации о ML и CNN, а также изображений HQ + подробности ознакомьтесь с исходным постом.
Вот продолжение пейзажей Ван Гога. Для получения подробной информации о ML и CNN, а также изображений HQ + подробности ознакомьтесь с исходным постом.
Резюме
Так отдал ли художнику должное Neural Style Transfer? Думаю, мы старались изо всех сил. Нейронные картины выглядят хорошо структурно и эстетически после оптимизации и довольно постимпрессионистски, как оригиналы Ван Гога. Однако мазки кисти, и, возможно, мне нужно лучше настроить архитектуру, я хочу оставить это на ваше усмотрение. Если бы вы не знали об источнике стилевых изображений, догадались бы вы, что нейронные картины написаны в стиле Ван Гога? Как далеко от Гогена, Сезанна, Моне или Дега...
Могли ли NST помочь в создании ключевых кадров в Loving Vincent? На данный момент для меня это да ... но алгоритм быстро ломался, когда предметы из нескольких картин Ван Гога должны были взаимодействовать в кадре. Не говоря уже о том, что душа фильма покоится во всей самоотверженной работе художников.
Проблема с несколькими объектами рисования связана с тем, что я заметил (см. раздел Эксперименты в оригинальном посте), что сила алгоритма значительно уменьшилась по мере того, как изображение стиля отклонялось от изображения контента. Это имеет смысл, так как алгоритм изучает только стиль отдельной картины, а не стиль художника, который можно было бы узнать из коллекции работ художника. Я постараюсь решить эту проблему передачи стиля художника в моем следующем посте об изобразительном искусстве. Мы привлечем к драке плохих парней ГАН. А до тех пор, я надеюсь, ты продолжишь смотреть в звездные ночи..
Первоначально опубликовано на http://blog.roodrakx.com 14 июля 2019 г.
