Пару месяцев назад я опубликовал статью о мозгово-компьютерных интерфейсах. В то время я был довольно плохо знаком с этой технологией и только начинал изучать ее. После того, как я опубликовал статью, я начал работать над проектом о мозговых компьютерных интерфейсах. В первый раз я не хотел начинать с нуля, поэтому я воссоздал проект, который играет в игру «Динозавр без интернета», просто моргая!
В этой статье я расскажу о проекте на данный момент, о том, что я узнал, и о моих основных выводах из этого проекта. Это моя первая попытка закодировать приложение интерфейса мозг-компьютер.
Данные ЭЭГ о мозговой волне
Я начал с ограниченными знаниями об этой технологии, потому что изучал ее всего около 2 недель. Сначала я хотел иметь возможность просматривать поток необработанных данных ЭЭГ на своем компьютере, потому что думал, что это будет хорошим началом. Данные ЭЭГ — это данные, которые собираются с устройства ЭЭГ. Прибор ЭЭГ, который я использовал, представлял собой оголовье Muse 2. Устройства ЭЭГ — это неинвазивный способ сбора данных о мозговых волнах. Устройство ЭЭГ улавливает сигналы, которые нейроны создают в вашем мозгу. Эти сигналы передаются мозгу для выполнения таких задач, как ходьба и разговор, а также более сложных задач.
Необработанные данные ЭЭГ используются для кодирования команд для приложения интерфейса мозг-компьютер. Я смог передавать данные о своих мозговых волнах с помощью Blue Muse и лабораторного регистратора LSL. Blue Muse — это приложение, которое подключает оголовье Muse к компьютеру и создает мост LSL, который может автоматически подключаться к лабораторному регистратору LSL. Затем с помощью лабораторного регистратора LSL вы можете сохранить данные о мозговых волнах в файл, который можно открыть в текстовом редакторе. В текстовом редакторе начнут поступать необработанные данные ЭЭГ. Я был очень горд, когда у меня это получилось. Было очень интересно видеть все цифры и буквы, постоянно поступающие на мое устройство.
Как работает игра «Нет интернет-динозавра» с помощью моргания?
Проект, над которым я решил работать, заключался в том, чтобы играть в игру «Динозавр без интернета», просто моргая. Это делается через интерфейсы мозг-компьютер. Первое, что необходимо, — это каким-то образом собрать данные о мозговых волнах. В моем случае я использовал оголовье Muse 2. Электроды — это датчики, которые регистрируют данные о мозговых волнах. Вокруг оголовья Muse размещены электроды, а электроды на лбу обнаруживают моргание, что нам и нужно для этого проекта.
Я скачал копию игры, чтобы запрограммировать в ней приложение. Затем я скачал программное обеспечение NPM для установки Muse-JS и System-JS. Есть разные фрагменты кода, которые я добавил в оригинальную игру, чтобы достичь своей цели. Первый фрагмент кода был добавлен на страницу index.html. Этот код взаимодействует с System-JS и позволяет ему загружаться. Это также позволяет компьютеру узнать, где найти rxjs и muse-js. Этот фрагмент кода также загружает файл с именем brain.js. Предполагается, что код, который входит в файл brain.js, инициализирует Muse Client, обнаруживает моргание левым глазом, фильтрует моргание и нажимает пробел, как обычно делает пользователь. Наконец, есть кнопка подключения для запуска функции connectToMuse().
Веб-API Bluetooth
Для части игры No Internet Dinosaur этого проекта мне понадобился другой способ подключения повязки Muse к моему компьютеру, отличный от Blue Muse, поэтому я решил закодировать Web Bluetooth API. Web Bluetooth — это приложение, которое обеспечивает доступ к устройствам Bluetooth через веб-браузер. До создания Web Bluetooth пользователи могли взаимодействовать с устройствами Bluetooth только через собственные приложения, но с помощью Web Bluetooth можно подключаться к устройству через Интернет. Это также довольно доступно для создания, потому что все, что вам нужно, это браузер, и есть много полезных руководств о том, как создать Web Bluetooth API.
После того, как я выполнил все эти шаги, я столкнулся с проблемой, которую я все еще исправляю, но мой проект в основном завершен!
Я очень доволен этим проектом до сих пор. Я очень горжусь всем, чего я достиг и чему научился. Я узнал больше об интересной теме, улучшил свои навыки кодирования на JavaScript, и в целом это сложный, но полезный опыт. Этот проект не был слишком сложным, потому что это был стартовый проект, чтобы подготовить меня к более сложным проектам в будущем. После того, как я закончу этот проект, я думаю о создании чего-то нового, совершенно с нуля. Я возьму то, что я узнал из этого опыта, и применю это к следующему. Мозг-компьютерные интерфейсы действительно увлекательны, и я очень рад делать больше таких проектов в будущем!
