Переосмысление истории в цвете с Pix2Pix в качестве помощника
Сотрудничество креативщиков и искусственного интеллекта: как обученная модель pix2pix может помочь с раскрашиванием
Люди по своей природе творческие. Новые инструменты раскрывают творческий потенциал, дремлющий в незадействованной волне творцов, которые находят неожиданные способы продемонстрировать свои художественные способности. Согласно исследованию Pfeiffer Consulting, даже опытные художники ценят новые технологии как стимул для творчества. Исследование показало, что 74% художественного процесса, от представления произведения искусства до его реализации, состоит из утомительных шагов, которые многие художники не прочь бы автоматизировать. Именно здесь некоторые художники считают, что машинное обучение может помочь. Я сам как художник-любитель и получил диплом по машинному обучению, поэтому изучал эту возможность. В этой статье я расскажу, как я обучил модель pix2pix быть полезным помощником при раскрашивании черно-белых фотографий. Полученная модель послужила очень полезной базой, уменьшив объем ручной работы, которую мне приходилось выполнять в Adobe Photoshop, чтобы раскрасить и восстановить исторические портреты из Национальной портретной галереи Смитсоновского института. Хотя я не могу утверждать, что раскраски исторически точны, я вполне доволен результатами!
Если вы новичок в раскраске, взгляните на некоторые из увлекательных работ, которые художники создают с помощью этих веток Reddit здесь и здесь. В дополнение к ручному процессу рисования слоев цвета на исходной черно-белой фотографии художники-колористы проводят обширные исследования, основанные на похожих цветных изображениях и исторических отчетах, чтобы добавить цвет как можно точнее. Это трудоемкий процесс, но результаты часто ошеломляют. Например, Марио Унгер потратил 3000 часов на восстановление и раскрашивание коллекции исторических фотографий, но вы только посмотрите на его удивительные результаты. Я считаю, что мы можем немного лучше относиться к истории, когда она больше похожа на мир, в котором мы живем.
Недавно Смитсоновский институт поделился миллионами активов как открытыми данными, побуждая широкую публику погрузиться в них и творить. В Смитсоновский открытый доступ включены многие исторические портреты из Национальной портретной галереи. Разве не было бы аккуратно раскрасить эти портреты? Поскольку у меня нет тонких навыков художника по раскрашиванию, я решил обучить модель pix2pix, чтобы помочь мне.
Обучение pix2pix раскрашиванию
Модель pix2pix - это условная генерирующая состязательная сеть (cGAN) для преобразования изображения в изображение. Для раскрашивания модель обучается переводить черно-белое (черно-белое) изображение в цветное. Модель состоит из 2 подкомпонентов: (1) генератора, обученного добавлять цвет к черно-белым изображениям, и (2) дискриминатора, который учится различать исходные цветные изображения и изображения, созданные генератором. Набор данных цветного изображения используется для обучающих данных. Цвет удаляется из каждого изображения, чтобы создать пару черно-белых и цветных изображений. Генератор учится раскрашивать черно-белые изображения так, чтобы они вводили дискриминатор в заблуждение, заставляя думать, что они являются оригиналами, одновременно воспроизводя исходный цвет изображения как можно точнее. Дискриминатор учится распознавать, когда изображение было раскрашено генератором. Посредством этого конкурирующего процесса модель учится улучшать свои раскраски на многих итерациях. С тех пор, как авторы бумаги выпустили свой код, многие исследователи и художники использовали pix2pix творчески. Примеры показаны в разделе Вклад сообщества здесь.
Теперь, имея некоторый фон самой модели, давайте представим, что pix2pix - ученик художника по раскрашиванию. Чтобы ученик мог научиться переводить изображения из черно-белого в цветное, мы должны показать ему множество примеров - чем ярче, тем лучше. Я использовал подмножество COCO dataset (35k изображений), фильтруя только самые красочные изображения. После обучения на этом наборе данных pix2pix немного узнал о том, как выглядит мир в цвете, но все еще не знал, как хорошо раскрашивать изображения людей. Поскольку целью было раскрашивать портреты, следующий этап обучения должен был быть сосредоточен на этой задаче. Я создал меньший высококачественный набор изображений людей (2k изображений), используя свои личные фотографии и выбрав фотографии из Unsplash. Затем, поскольку старые исторические изображения часто более размыты, чем современные цифровые фотографии, я также добавил случайное размытие к обучающим изображениям. Теперь pix2pix будет основываться на том, что он уже узнал от COCO, и далее обучаться переводить слегка размытые черно-белые фотографии людей в цветные изображения.
Результаты модели
После обучения мой ассистент pix2pix научился быть очень полезным. Используя Смитсоновские портреты в качестве моих тестовых данных, pix2pix довольно хорошо добавлял цвет к черно-белым изображениям, хотя отклонения от моих тренировочных данных были очевидны. Поскольку мой обучающий набор был небольшим, модель была более склонна к переобучению, то есть модель изучала шаблоны, характерные для обучающих данных, и неправильно применяла эти особенности к невидимым изображениям. Например, на многих моих тренировочных изображениях изображены люди, накрашенные губной помадой, и, как следствие, некоторым историческим фигурам на выходе была придана помада 😬. Один из простых способов улучшить модель - использовать более крупный и разнообразный обучающий набор.
В целом результаты, конечно, не были идеальными, но все же послужили хорошей базой для начала. Хотя у меня нет отточенных навыков художника по раскрашиванию, pix2pix помог мне достаточно, чтобы попробовать свои силы в раскрашивании.
Последние штрихи с помощью Photoshop
Используя выходные данные модели, было очень легко добавить последние штрихи в Photoshop.
Поскольку базовые цвета уже присутствовали в изображении, я использовал инструмент «Пипетка» с «усреднением по выборке 3x3», чтобы подобрать цвета из определенных частей изображения. Выбрав цвет, я использовал инструмент «Кисть» в режиме «Цвет», чтобы закрасить области, которые модель пропустила или которые окрашены неправильно. Эта кисть будет только корректировать цвет изображения без изменения значений интенсивности пикселей (т. Е. Свет / тени и т. Д. Не будут нарушены). Конкретные настройки, которые я использовал, выделены на рисунке выше. Затем, чтобы удалить повреждения с исходных фотографий, такие как царапины или следы от ручки, я использовал стандартную настройку кисти, чтобы закрасить их. Я потратил менее 5 минут на редактирование каждого изображения. Продолжайте прокручивать, чтобы увидеть окончательные результаты!
Окончательные результаты
Спасибо за чтение, и я надеюсь, что вам понравились окончательные результаты. Такие модели, как pix2pix, могут сделать такую задачу, как раскрашивание, более доступной. Квалифицированные художники по раскрашиванию могут также найти такие модели полезными для сокращения утомительной работы, необходимой для получения готового продукта. Они могут использовать сэкономленное время, чтобы сосредоточиться на обновлении цветов для исторической точности или художественного чутья. Большое спасибо Смитсоновскому институту за выпуск такого невероятного набора данных для исследователей, которые могут исследовать историю - в данном случае переосмысливая историю в цвете 🎨
Пища для размышлений - что еще может дать машинное обучение в сочетании с творческими работниками в цикле? 💡
Ссылки на изображения (ссылки на оригиналы):
3. Хелен Келлер
5. Lil Green
