Музыкальные исполнители, композиторы и продюсеры сегодня плавают в огромном количестве музыкальных нот, чтобы проверить, какие мелодии, гармонии и симфонии они могут создать и что лучше всего подходит для их песен. Хотя достижения в области технологий значительно упростили и упростили этот процесс, он по-прежнему остается долгим и сложным для всех, кто занимается созданием музыки.

Тем не менее, технологическая революция может привести к созданию музыки в том виде, в каком мы ее знаем. Команда ученых-компьютерщиков смогла использовать ИИ для завершения незаконченной 10-й симфонии, изначально созданной более 250 лет назад Людвигом Ван Бетховеном. Этот проект вызвал интересные дискуссии, например, является ли завершенная симфония тем, что изначально пытался создать Бетховен, а также поднял важный вопрос — что могут сделать искусственный интеллект (ИИ) и машинное обучение (МО) для производства музыки в музыкальном индустрия развлечений?

Команда Brainpool размышляла над ответом на последний вопрос, поэтому мы потратили время на то, чтобы протестировать несколько различных готовых музыкальных демо с искусственным интеллектом и подумать о том, как они могут помочь преобразовать музыкальную индустрию.

Google Magenta и MusicVAE:

MusicVAE — это модель машинного обучения, использующая глубокое обучение и нейронные сети, созданная командой Magenta в подразделении искусственного интеллекта Google, чтобы помочь генерировать и создавать мелодии для композиторов и авторов песен посредством интерполяции скрытого пространства. Команда Brainpool экспериментировала с Beat Blender, бесплатным демо-инструментом для ударных и битов, созданным с использованием моделей глубокого обучения MusicVAE и нейронных сетей для создания ритма мелодии на основе нашего ручного ввода, и Melody Mixer, инструментом, который микширует треки. например, Twinkle Twinkle Little Star с другим, чтобы создать комбинированную мелодию с помощью моделей глубокого обучения MusicVAE и нейронных сетей. Вы можете увидеть два в действии ниже:

Во время экспериментов мы настроили пресеты и нашли инструменты, адаптированные на лету, что позволило барабанному бою и мелодии почувствовать себя хорошо спродюсированными лучшими композиторами.

Предполагаемая целевая аудитория для этого инструмента — сложный вопрос. Для настоящих музыкальных продюсеров это скорее вспомогательный инструмент для упрощения процесса. Но, основываясь на уже используемых технологиях и опыте этих музыкальных продюсеров, внедрение ИИ и машинного обучения не может быть большим улучшением или прорывом, хотя оно, безусловно, может сделать процесс более масштабируемым за счет автоматизации. Настоящая выгода для авторов песен. У большинства, если не у всех, авторов песен очень мало опыта в создании музыки, что затрудняет процесс создания и публикации песни. Однако с MusicVAE это можно считать более эффективным и экономичным инструментом для оптимизации процесса, особенно если они хотят работать в небольшой группе или вообще избегать крупных музыкальных продюсеров и композиторов. MusicVAE может помочь артистам разрушить традиционную модель музыкальной индустрии.

Для группы YATCH это позволило им совместно работать с MusicVAE и командой Magenta над созданием песни, выходящей за пределы их зоны комфорта, но при этом следовавшей параметрам и предпочтениям, которые они обычно использовали при создании предыдущих песен. На Google I/O 2019 эта песня была представлена ​​участникам мероприятия и показала процесс работы YATCH с моделью, чтобы найти возможность создать песню, которая была бы совершенно новой для их слушателей и группы.

OpenAI: MuseNet

MuseNet — глубокая нейронная сеть, созданная разработчиками OpenAI, предназначенная для генерации новых и оригинальных музыкальных композиций. Эта модель создает мелодии в течение длительного времени (до 4 минут) и с помощью 10 различных инструментов для создания захватывающих новых композиций!

MuseNet использует широкий массив музыкальных сэмплов в своей нейронной сети, выявляя сходство между разными композиторами и стилями, чтобы изучать образцы музыки по жанрам и исполнителям. Эти паттерны гармонии, ритма и мелодии служат основой для понимания MuseNet правил музыки, вытекающих из предыдущего такта, что позволяет беспрепятственно продолжать композицию с этой точки. Это действует как основа для создания новой музыки, позволяя инструменту смешивать различные стили новыми способами для создания новых и захватывающих композиций. Что особенно интересно в этом инструменте, так это возможность соединить два, казалось бы, несопоставимых стиля музыки — кто бы мог подумать, что Бетховен может хорошо звучать как песня Леди Гаги!

Команда Brainpool экспериментировала с демо-версией модели MuseNet в браузере. Эта версия позволяет вам взаимодействовать с моделью, чтобы экспериментировать с созданием новой музыки с помощью выбора предварительно созданных вступлений к произведениям. Оттуда вы можете выбрать различные стили и инструменты для модели, чтобы создать новую и оригинальную мелодию из вступления. Посмотрите, как это работает:

Взяв вступительную мелодию популярной песни (или даже своей собственной!) и структуру выбранного жанра, инструмент может создать уникальное музыкальное произведение, которое звучит так, как будто его мог написать человек.

Эта технология имеет большой потенциал для музыкальной индустрии. MuseNet позволяет загружать собственное MIDI-вступление, чтобы инструмент мог создавать новую композицию из другого существующего материала. Это позволит музыкантам с «блокировкой авторов» загружать композиции, с которыми они столкнулись с кирпичной стеной, что позволит им услышать потенциальные мелодии, которые могут последовать из их прогресса. Это расширит творческий процесс для многих создателей контента. Наряду с этим способность глубокой нейронной сети экстраполировать правила и паттерны музыки для разных исполнителей и жанров может выступать в качестве инструмента, помогающего начинающим музыкантам осваивать определенные навыки или «трюки» для жанров, которые они пытаются освоить.

Последнее слово:

Попробовав эти демоверсии, вы получите интересное представление о роли, которую ИИ может сыграть в будущем музыкальной индустрии. Подобные инструменты обладают захватывающим потенциалом для помощи музыкантам, упрощая процесс сочинения и удаляя многие монотонные повторяющиеся задачи, расширяя возможности артистов для творческого самовыражения. В то же время, однако, важно признать работу людей в отрасли. Мы должны понимать, что с опытом качественное музыкальное производство уже существует, так что в этом дополнении нет необходимости. Это не означает, что эти инструменты бесполезны, поскольку они предлагают пользователям с меньшим музыкальным опытом возможность создавать высококачественный контент без существующих барьеров. Таким образом, у ИИ есть прекрасная возможность улучшить музыкальный процесс для тех, кто нуждается в помощи, не затеняя и не заменяя тех, кто в этом не нуждается. По мере того, как музыкальная индустрия все больше знакомится с подобными инструментами, мы можем начать познавать мир музыки лучше, чем когда-либо прежде.

Автор: Джозеф Майлер и Эндрю Модровски