Как и многие из вас, у меня были выступления на концертах с живой музыкой - я жаждал яркого света, лазеров и потрясающих визуальных эффектов. В связи с этим возник вопрос: «Сколько« вещей »мне действительно нужно, чтобы имитировать живую музыку дома?» и "а сколько вообще стоит эта" штука "?"
Поэкспериментировав с различными настройками в течение нескольких месяцев, я понял, что вам не нужно много дорогостоящего оборудования, чтобы создать базовую среду. Став более «профи», вы рискуете быстрее получить сенсорную перегрузку. Самым ценным компонентом для создания полного погружения в музыку дома является освещение живых выступлений и данные анализа музыки.
Вот набросок того, как может работать объединение данных живых событий с данными анализа треков, а затем их преобразование в поток данных с малой задержкой для использования интеллектуальными осветительными устройствами, синхронизированными с музыкой:
Я хотел поделиться своими выводами и мыслями о том, как и почему данные о дизайне освещения мероприятий и анализе музыкальных треков следует комбинировать с интеллектуальными продуктами бытовой электроники для улучшения восприятия музыки дома. Вот видео прототипа.
Дизайн освещения для прямых трансляций и данные о движении
Я окунулась в мир светового дизайна для живых мероприятий, чтобы получить базовое представление об основных технологиях и о том, как все это работает. Краткая версия такова:
- Артисты, художники по свету, мастера сцены и промоутеры месяцами сотрудничают, чтобы создать желаемое настроение и чувства, смешивая светодиодные фонари, лазеры, противотуманные машины, пиротехнику и видеоэкраны.
- Ключевые моменты и последовательности, смешение цветов, образцы стробоскопов, лазеры и прожекторы сохраняются как «сцены» в центральной системе для легкого использования во время живого мероприятия.
- Технология управления такими устройствами, как фары, лазеры и туманообразователи, называется протоколом DMX (Digital Multiplex). Сигнал однонаправленный, то есть он распространяется только в одном направлении; от контроллера или первого света до последнего. В своей основной форме DMX - это просто протокол для света, как MIDI для клавиатур или контроллеров DAW.
- Световое шоу импровизировано в реальном времени человеком во время живого выступления.
Не вдаваясь в юридические вопросы, давайте на мгновение предположим, что данные о дизайне освещения, движения и последовательности событий живой музыки существуют на портативных компьютерах по всему миру. Предположим также, что существуют стимулы для монетизации данных путем их передачи в алгоритмы машинного обучения для обучения ИИ визуализации или преобразования их для использования в устройствах для визуализации музыки в умном доме.
Программное и аппаратное обеспечение потребительского уровня
Моя жена не собиралась размещать большую плату управления DMX в нашей гостиной, поэтому я остановился на программном решении при создании прототипа в моем домашнем офисе. Я был рад обнаружить, что моя лицензия Pioneer Rekordbox уже включает модуль проектирования освещения, совместимый с DMX.
Изучение программного обеспечения подтолкнуло меня посмотреть, сколько будут стоить DMX-совместимый лазер и прожектор с подвижной головкой. Мне удалось найти устройство с 3 (RGB) лазерами и стробоскопами за 100 долларов и прожектор с движущейся головкой с 12 уникальными трафаретами за 140 долларов. Оба были очень яркими, но не подавляющими. Я заметил, что они оба быстро нагреваются, а вентиляторы довольно громкие.
Во время тестирования я хотел загрузить свои собственные трафареты для прожектора и лазера, такие как имя исполнителя или визуализация текста.
Я также хотел протестировать решения без DMX, такие как освещение на основе микрофона / ритма. Я использовал 6 ламп Hue, 1 светодиодную ленту Hue, 1 Hue Bloom, панели Nanoleaf Rhythm Edition, лампочку мини-дискотечный шар и несколько умных розеток WeMo для включения / выключения прожектора и лазеров.
Я подключил все устройства с помощью Apple HomeKit, что позволило максимально детально управлять панелями Nanoleaf и предоставить центральную панель управления для прототипирования опыта.
Уроки поэтапного подхода
Первый урок заключался в том, что без человеческого прикосновения или данных, описывающих музыкальную структуру, тональность и последовательность фраз, определения ритма недостаточно. Хотя мне удалось создать приличную атмосферу, управляя модулями освещения вручную, «волшебство» быстро исчезает, когда я кладу iPad. Использование микрофона в качестве устройства ввода реагировало на запуск событий через Nanoleaf, прожектор и лазеры. Тем не менее, устройствам не хватало понимания структуры песни, музыкального ключа и жанра. Это ограничивало их способность «выбирать» наиболее подходящие цвета и узоры, чтобы выразить настроение музыки. Пользователь начинает замечать повторяющиеся визуальные эффекты, последовательности и паттерны, показывая, что сгенерированные визуальные эффекты и музыка не были продуманно сплетены вместе, как это было бы на живом мероприятии.
Второй урок заключался в том, что разобрать решение с использованием нескольких брендов и технологий не так просто, как кажется. Требовалось связать несколько приложений управления, создать сцены домашней автоматизации и понять, как работает DMX. Не говоря уже о том, что потребители не заинтересованы в том, чтобы уродливые кабели XLR валялись на полу. Идеальным решением был бы набор хорошо спроектированных, совместимых продуктов для воспроизведения музыки (светодиодные фонари, лазеры, движущиеся прожекторы) с возможностью беспроводного подключения с малой задержкой, которые потребители с гордостью установили бы на своих стенах и потолках.
Заполнение пробелов в данных для мультисенсорного музыкального опыта
Основная технология анализа музыки для извлечения метаданных Key, BPM, Genre и Beat Grid уже существует в большинстве DJ-приложений, а также в API Spotify и может использоваться для создания динамического визуального опыта для слушателя. Чтобы получить представление о данных, ознакомьтесь с документацией Spotify API здесь:
Получить звуковые функции для трека | Spotify для разработчиков
Получить аудиоанализ для трека | Spotify для разработчиков
Rekordbox от Pioneer отлично подходит для определения сетки ударов и фраз, а затем предлагает визуализации на основе жанра, частот и интенсивности трека.
Программное обеспечение MixedInKey назначает клавиши музыкальной дорожки с помощью шкалы Камелота и устанавливает уровень «энергии». Хотя первоначальная цель программного обеспечения заключалась в том, чтобы облегчить ди-джеям возможность идентифицировать 2 трека, которые могут гармонично микшироваться, одни и те же данные и логика могут использоваться для назначения цветовых палитр и шаблонов легкого движения.
Новые технологии, такие как Neural Mix от Algoriddim, могут разделять вокал, инструменты и каналы ударных в реальном времени. Это дает возможность динамически назначать каждый канал уникальному устройству - например, ударные - для стробоскопа и лазеров, вокал - для светодиодной подсветки, а инструменты - для панелей Nanoleaf.
Волшебная палочка против голосовых команд
Есть что-то очень неестественное в том, чтобы выкрикивать команды в Alexa, когда вы расслабляетесь и слушаете музыку. При тестировании прототипа я обнаружил, что хочу управлять интенсивностью и узорами, как дирижер, с помощью палочки Bluetooth с 3-осевым гироскопом, сделанной из тех же графитовых материалов, что и Apple Pencil.
С помощью технологий Neural Mix или извлечения ствола пользователь мог использовать палочку для усиления или приглушения звука вокала, ударных или инструментария и, например, сосредоточиться на голосе Адель для более интимного ощущения артиста.
Моя команда и я разработали аналогичную модель взаимодействия для конференции Adobe MAX еще в 2007 году, используя взломанные контроллеры Nintendo Wii. Видео ниже:
Заключительные мысли
Подводя итог, можно сказать, что есть как минимум 3 способа восполнить пробел в данных визуализации:
- Дизайн освещения событий в прямом эфире и данные о движении (преобразованные для использования на устройстве или в качестве данных обучения ИИ)
- Данные анализа треков (как программное обеспечение DJ и Spotify анализируют музыкальные треки)
- Разделение ударов, инструментов и вокала в реальном времени (и отображение частот в виде цветов и шаблонов движения для интеллектуальных устройств)
Основные сервисы потоковой передачи музыки - Amazon, Apple и Spotify - действительно находятся в лучшем положении для инноваций в этой сфере и обеспечения уровня данных визуализации поверх аудиопотоков. У них уже есть цифровые треки и инфраструктура для переиндексации своих музыкальных библиотек, а их музыкальные плееры поддерживают аналогичную функциональность при отображении текстов с временным кодированием синхронно с музыкой.
Я не проводил маркетинговых исследований, чтобы подтвердить некоторые из этих гипотез, но с точки зрения спецификации материалов (BOM) маржа есть. Такой продукт станет идеальной игрушкой для аудиофилов, способствующей дальнейшему увеличению подписки на HD. Наборы жанров с инструментами предварительной визуализации AR позволят вам предварительно просмотреть опыт в вашем собственном пространстве.
Применяя 5 факторов Роджера, которые влияют на принятие инновации, мы получаем высокие баллы по всем 5 факторам:
- Относительное преимущество - степень, в которой продукт лучше продукта, который он заменяет.
- Совместимость - степень соответствия продукта существующим ценностям и опыту.
- Сложность - степень сложности продукта для понимания и использования.
- Пробная версия - степень, в которой продукт можно опробовать на ограниченной основе.
- Наблюдаемость - степень, в которой использование продукта и его влияние видны другим.
Основные сервисы потоковой передачи музыки - Amazon, Apple и Spotify - действительно находятся в лучшем положении для инноваций в этой сфере и обеспечения уровня данных визуализации поверх аудиопотоков. У них уже есть цифровые треки и инфраструктура для переиндексации своих музыкальных библиотек. Их музыкальные плееры уже поддерживают аналогичную функцию: тексты с временным кодом синхронизируются с музыкой.
Если вы дочитали до конца этого поста, мне бы хотелось узнать, рассматривали ли вы возможность покупки такого продукта (представьте, что видите живую демонстрацию в разделе аудио высокого разрешения Magnolia Hi-Res от Best Buy), и если да, что бы вы ожидаете, что цена будет?
