Нью-йоркский стартап CTRL-labs разрабатывает то, что они называют «нейронным контроллером», который использует электрическую активность, производимую мышцами, и применяет эти сигналы в качестве типа контроллера жестов для взаимодействия с компьютерными приложениями. Недавно компания объявила о своем намерении выпустить контроллер в виде комплекта для разработки — в комплекте с SDK и API — в какой-то момент в первом квартале 2019 года.
CTRL-kit по существу использует дифференциальную электромиографию (ЭМГ) для преобразования электрических импульсов в действия путем измерения изменений электрического потенциала от сигналов, посылаемых мозгом к мышцам рук пользователя. Контроллер использует 16 электродов для отслеживания этих сигналов и преобразует их с помощью алгоритма машинного обучения (обученного с помощью TensorFlow), чтобы различать отдельные импульсы каждого и превращать их в жесты, которые может распознать компьютер. Генеральный директор CTRL-labs Томас Рирдон объясняет технологию на конференции O’Reilly AI 2018 в видео ниже.
Согласно CTRL-labs, SDK и API компании могут отслеживать положения и движения каждого пальца и сустава, не используют камеры и имеют встроенное распознавание и классификацию распространенных жестов. Он способен измерять силы сжатия и захвата, а также обнаруживать мышечное напряжение с движением или без него. Он также поддерживает интеграцию с приложениями VR и AR, что делает игры реальными без необходимости использования внешних камер или громоздких контроллеров.
Помимо игр, CTRL-lab считает, что их нейронный контроллер может найти применение в обслуживании сложных промышленных и авиационных систем, удаленной хирургической робототехнике или даже в новых способах взаимодействия с музыкальными инструментами. Точная дата выпуска и цена пока неизвестны, но желающие могут попасть в лист ожидания компании через их сайт.
