Представьте:
Вы находитесь в клубе с друзьями в субботу 2035 года. Но подождите, это не обычный танцевальный клуб. Этот клуб называется клубом данных, где вы получаете индивидуальный опыт, чтобы получить больше удовольствия от ночи.
У одной из ваших подруг плохой день, и в клубе знают, что Эйкон ей очень нравится с тех пор, как она была здесь в последний раз.
Он быстро перекрестно ссылается на всех других лиц в клубе и решает, что исполнение Akon в качестве следующей песни - лучший ход для увеличения общей энергии клуба.
Звучит безумно, правда? Но что, если бы я сказал вам, что все технологии, необходимые для этого, существуют сегодня?
Команда
Чтобы эта демонстрация работала, я использовал три разные технологии: веб-камеру, Spotify API и модель машинного обучения для определения выражения лица.
Веб-камера
Скромная веб-камера, используемая стримерами и для звонков Zoom по всему миру, также может использоваться для создания приложений машинного обучения. Поскольку кадры визуализируются в реальном времени, мы можем захватывать различные объекты на камеру, а затем передавать изображения в нашу программу для обработки.
Распознавание выражения лица
Алгоритм определения выражения лица - самая сложная часть в этой машине. В фоновом режиме он использует Tensorflow (библиотека машинного обучения Google), чтобы предсказать, какую эмоцию изображает изображение.
Существует множество различных реализаций и библиотек с этой технологией. В этом проекте я использовал faceapi.js, потому что он работает в браузере и относительно прост в настройке.
Я собирал эмоции кадр за кадром, а затем усреднял их, чтобы получить наиболее распространенные эмоции.
Вот где начинается самое интересное. Затем мы можем использовать прогнозы модели машинного обучения для выполнения таких функций, как…
Spotify API
Spotify API - это способ для нашего приложения запрашивать Spotify о каких-либо действиях, вызывая функции. Чтобы сделать это, Spotify должен предоставить вам ключ. Этот ключ позволяет вам действовать от имени пользователя.
Следующая функция - воспроизведение песен. У каждой песни в Spotify свой идентификатор. Чтобы воспроизвести нужные мне песни, я скопировал идентификатор из Spotify, а затем подключил его к Spotify API.
После того, как мой скрипт запускает API с другим запросом эмоции, он переключается на воспроизведение другой песни. Вы можете думать об этом как о том, чтобы компьютер воспроизводил следующую песню всякий раз, когда вы перестаете улыбаться.
Как будто вы королевская особа, вы можете остановить вечеринку, когда захотите!
Результат
После того, как я соединил все части вместе, у меня получилось рабочее кольцо настроения Spotify. Он настроен только на отслеживание лица одного человека и воспроизведение пяти песен, но это отличное начало.
Какие песни вы бы добавили в плейлист для настроения?
