В конце прошлого года перед моей ежегодной поездкой домой на Тайвань я имел удовольствие взять интервью у Джоанн Хасти, талантливой художницы, которая использует роботизированные руки и машинное обучение для создания картин изобразительного искусства. Это интервью является частью серии In The Studio, проводимой Музеем современного цифрового искусства, музейной платформой, которую я в настоящее время консультирую. Оригинал интервью здесь: https://www.mocda.org/in-the-studio-joanne-hastie

Когда вы впервые думаете о роботах, создающих произведения искусства, общие чувства, вероятно, связаны с любопытством или страхом.

КАК РОБОТЫ СОЗДАЮТ ИСКУССТВО?

ЧТО ЭТО ЗНАЧИТ ДЛЯ ИСКУССТВА?

ЕСЛИ РОБОТЫ МОГУТ ДАЖЕ ЗАМЕНИТЬ ЧЕЛОВЕКА В ОБЛАСТИ ТВОРЧЕСТВА, ОЗНАЧАЕТ ЛИ ЭТО, ЧЕЛОВЕКА МОЖНО ПОЛНОСТЬЮ ЗАМЕНИТЬ?

Когда я вошел в студию Джоанны, меня приветствовал тихий жужжащий звук руки робота. В самом роботе не было ничего пугающего, он просто тихо, прилежно размахивал кистью, погружая краску, как если бы прилежный студент-искусствовед совершенствовал свое ремесло, по одному мазку кисти за раз.

Большинство стен было покрыто различными школами искусства: от абстрактного до импрессионизма, от форм до пейзажа, от человека до созданного роботами. Джоанна просматривала свои папки с экспериментами с роботами, а я задавал множество вопросов, над которыми размышлял, желая получить ее представление об этом увлекательном способе создания произведений искусства.

Сэнди: ЧТО ВАС ВДОХНОВИЛО ВЫБРАТЬ РОБОТОВ И МАШИНЫ, КОТОРЫЕ НАУЧАЕТСЯ СОЗДАТЬ?

Джоанн: Я рисую столько, сколько себя помню, но из семьи инженеров было вполне естественно стать инженером. Я выбрал машиностроение, потому что требовались чертежи и дизайн. Первые несколько сроков моей работы были связаны с автоматизацией. У меня была двухнедельная возможность поработать с промышленным роботом KUKA (KUKA - немецкий производитель промышленных роботов и решений для автоматизации производства), все время, пока я работал с ним, я хотел, чтобы он держал малярную кисть. Спустя годы у меня все еще была эта идея, поэтому я в конце концов купил себе настольного робота, чтобы посмотреть, смогу ли я научиться программировать его для рисования. Это был хороший год обучения программированию на Python, после чего я начал экспериментировать с машинным обучением.

GAN - ГЕНЕРАТИВНАЯ ПРОТИВОПОКАЗАТЕЛЬНАЯ СЕТЬ

Некоторые из последних технических достижений Джоанны используют GAN. Чтобы понять процесс Джоанн, было бы полезно дать определение GAN - Generative Adversarial Networks. GAN - это архитектура глубокой нейронной сети, состоящая из двух сетей, которые противопоставляют друг другу (таким образом, враждебные). Они могут научиться имитировать любое распределение данных. То есть GAN можно научить создавать миры, пугающе похожие на наш, в любой области: изображения, музыка, речь, проза. (Источник: https://pathmind.com/wiki/generative-adversarial-network-gana)

В этом смысле с двумя сетями, генератором и дискриминатором, GAN могут принимать случайные входные данные и учиться на обучающем наборе для создания новых комбинаций выходных данных, которые могут имитировать работу человека, а затем иметь возможность классифицировать их как хорошие или плохой.

Примером GAN является проект Этот человек не существует, где каждое изображение здесь, хотя и выглядит как реальный человек, на самом деле является выдуманным изображением, созданным GAN на основе входных данных, с помощью которых он был обучен. Имея это в виду, давайте поговорим о процессе Джоанны.

Джоанн использует GAN в 3 из своих написанных вручную не роботизированных сериалов, в том числе:

  1. Это не место,
  2. создание стилевых фильтров для своих городских пейзажей и
  3. ее Натюрморты, вдохновленные Матиссом

На протяжении этих процессов генерации изображений она использует другой алгоритм, называемый классификатором, для сортировки больших объемов изображений, генерируемых ее кодом. Она использует как обученные, так и неподготовленные классификаторы как в своем искусстве, обработанном GAN, так и в своих роботизированных абстрактных картинах.

Сэнди: КАК ВЫГЛЯДИТ ПРОЦЕСС?

Джоанн: Чтобы что-то автоматизировать, вы должны знать что-то в его основных движениях. Причина, по которой мы что-то практикуем, заключается в том, что нам не нужно думать о том, как это делать - мы можем делать это автоматически. Я занимаюсь рисованием, поэтому могу сосредоточиться на создании картины, а не на деталях, таких как смешивание цветов, чистка кисти или какая кисть использовать.

Сэнди: Так же, как великие спортсмены на самом деле не думают, когда выступают, они сохраняют пустой ум.

Джоан: Верно, но при настройке автоматизации это заставляет меня думать о каждом отдельном шаге, чтобы я мог программировать робота (например, погружение краски, нанесение краски «живописным» способом, чистка кисти и т. Д.) . Для моей текущей серии роботов я выполняю следующие шаги:

  • У меня есть код на Python, который генерирует наборы мазков кисти. Имеется три разных стиля мазков кисти, наложенных на слои разных цветов. Каждый набор мазков кисти в цифровом виде накладывается на фон, который я нарисовал вручную.
  • Я обучаю классификатора своим предпочтениям относительно того, что я считаю хорошим или плохим, исходя из моих собственных предпочтений, маркируя ранее созданные картины. Вновь созданные картины затем классифицируются как хорошие или плохие - картины с самым высоким рейтингом будут рассматриваться для рисования.
  • Затем я помещаю каждый фон в подставку для робота и рисую выбранную в коде картину для этого фона.

Сэнди: БЫЛО МНОГО ИСПЫТАНИЙ И ОШИБОК В НАЧАЛЕ? ЧТО БЫЛИ ИЗ ВАШИХ ЛЮБИМЫХ НЕУДАЧ?

Джоанн: У меня есть стопки неудавшихся картин. Часто приводит к новым идеям. Отличный пример: как только я включил робота, чтобы рисовать, а затем вышел на пробежку, когда я вернулся, я понял, что забыл включить действие, чтобы очистить кисть между цветами. Итак, робот смешал все цвета вместе, и картина получилась почти черной благодаря толстым мазкам кисти. В прошлом году у меня была открытая студия, и людям понравился этот пример, и они фактически предпочли тот, который я создал по «ошибке».

Сэнди: Что, по-твоему, составляет хорошее роботизированное искусство?

Джоан: В начале этой работы я использовала свою учетную запись Instagram (@paintingvariables), где я разместила все картины роботов и не сообщила, что это искусство сделано роботом, чтобы увидеть реакцию аудитории. У меня была идея, что я могу научить классификатора понимать, какое хорошее или плохое искусство основано на количестве лайков, которые я получаю для каждой фотографии. Я быстро понял, что это неподходящий эксперимент, потому что платформа больше контролирует то, что видят люди, и чем больше я публиковал, тем больше лайков я получал. Вернувшись к традиционным стандартам, я стал критиком и сам начал классифицировать картины в соответствии со своими предпочтениями. Поскольку код генерирует так много хороших картин, я часто сосредотачиваюсь на вопросе: Могу ли я использовать для этого краску и время?

Сэнди: А КАК НАСЧЕТ ЦЕНЫ? ВЫ ЦЕНА НА ИСКУССТВО ОТЛИЧАЕТСЯ ОТ ЦЕНЫ НА ОРИГИНАЛЫ?

Джоан: На ​​самом деле я не считаю искусство роботов чем-то отличным от искусства человека, потому что на самом деле это просто еще один инструмент, который я использую для создания, я так же ценю искусство. Поэтому я обычно выставляю цену квадратным дюймом, как и любое другое произведение искусства, но более сложной задачей является получение подтверждения того, что считается хорошим.

Сэнди: ЧЕМ ЦЕНЫ, ЧТО, НА ВАШЕ МНЕНИЕ, ЦЕННОСТЬ КОМПЬЮТЕРНОГО ИЛИ РОБОТОВОГО ИСКУССТВА?

Джоан: Для художника, я думаю, это очень ценно, потому что для того, чтобы научить робота, художник должен понимать, как она рисует, вплоть до детального уровня, каждое решение является осознанным. Это также позволяет художникам перерабатывать больше идей и намного быстрее тестировать цветовые палитры.

Я действительно опасаюсь, что люди сочтут менее ценным, если искусство создано роботом, но для меня оно не персонифицировано, это больше связано с вопросом: «Почему художник должен держать кисть?»

Сэнди: ТАК ДАЖЕ, ЧТО ДАЖЕ ВЫ ЗАПРОГРАМЛИЛИ РОБОТА, КОТОРЫЙ МОЖЕТ СДЕЛАТЬ ТАКУЮ БОЛЬШУЮ РАБОТУ, ВЫ СОГЛАШАЕТЕСЬ С ЛЮДЯМИ, ДУМАЮЩИМИ ТВОРЧЕСТВО И ИСКУССТВО - ВЕРОЯТНО, ЧЕМ РОБОТЫ НЕ МОГУТ ЗАМЕНИТЬ ЧЕЛОВЕК?

Джоан: Верно, я не думаю, что роботы могут заменить художников, если люди просто понимают, сколько работы требуется, чтобы заставить робота рисовать. Все творчество основано на моем вкладе, поэтому работа, которую создает робот, очень зависит от художника.

Я считаю, что это прискорбно, как общество традиционно разделяет искусство и технологии на две отдельные области. Большему количеству художников было бы полезно узнать о технологиях, если бы они их не пугали. Художественным галереям и художественным галереям трудно выжить, если они не используют технологии.

Сэнди: Я полностью согласен с тем, что нельзя игнорировать тенденцию, заключающуюся в том, что дисциплины больше не могут быть инновационными, если они остаются в своих собственных кругах. Мы видим все больше и больше междисциплинарных коллабораций или художников, которые также являются технологами. Заглядывая в будущее, что ждет вас дальше?

ГДЕ ВЫ ВИДЕТЕ ДЕЙСТВУЮЩИЕ ТЕХНОЛОГИИ И ЧТО ТАКОЕ САМАЯ ДИКАЯ МЕЧТА, КОТОРУЮ ВЫ МОЖЕТЕ ПРЕДСТАВИТЬ СЕЙЧАС С РАБОТОЙ?

Джоанн: Это определенно был итеративный процесс, теперь у меня есть новый робот 7DOF (семь степеней свободы), который обеспечивает большую гибкость движений и большее количество позиций. Я заинтересован в том, чтобы робот смешивал свои собственные цвета, поскольку в настоящее время я делаю это вручную. Если он сможет смешивать свои собственные цвета, это откроет гораздо больше возможностей для репрезентативной живописи.

Где еще я могу заменить себя в процессе? Могу ли я заставить его менять кисти (в настоящее время я делаю это вручную) или делать выводы, поскольку он рисует с помощью системы технического зрения? Меня часто приглашают показать своего робота на конференциях и мероприятиях, поэтому мне интересно, может ли зритель взаимодействовать с роботом с помощью набора параметров? У меня есть другие идеи, например, может ли художник рисовать прямо на месте с помощью более портативного планшета, который сообщает роботу, что рисует в студии? Что, если робот может быть мобильным в студии, чтобы иметь еще больший охват…

Я часто говорил, что хотел бы, чтобы он помогал мне рисовать большие настенные росписи.

Джоанн: Мне также очень интересно, как моя работа может научить людей тому, что такое автоматизация и машинное обучение. Когда я программирую робота, это серия операторов if и циклов. Мне удалось объяснить это непрограммистам в галерее и заинтересовать их программированием. Я думаю, что понимание технологии уменьшит страх и раскроет более позитивный свет вокруг того, куда нас ведут технологии.

Сэнди: Спасибо, Джоан, за то, что поделились своим искусством с MoCDA!