Станьте профессором X и откройте секреты нашего разума
В комиксах «Люди Икс» профессор Чарльз Ксавьер - один из самых могущественных мутантов. Он обладает умственной способностью читать мысли и перемещать предметы.
Хотите стать профессором X? Читать дальше!
Наш мозг - мощный орган, это командный центр нервной системы человека. Он работает как большой компьютер: он отправляет, принимает и обрабатывает информацию.
Что, если мы сможем перехватить эти сигналы? Создав устройство для чтения мыслей, вы сможете раскрыть силу ТЕЛЕПАТИИ!
Интерфейс мозг-компьютер позволяет расшифровывать наши намерения с помощью сигналов нашего мозга. Это означает, что вам даже не нужно двигать мускулами!
Представьте себе это, если бы я хотел отправить текстовое сообщение. Я начинаю с того, что смотрю на клавиатуру, на буквы, которые хочу напечатать. И мой телефон начинает печатать слова и предложения, о которых я думаю!
Это может показаться научной фантастикой, думаете ли вы, что человечество еще далеко от достижения такого подвига? Ученые десятилетиями разрабатывали и совершенствовали эту технологию.
В этой статье позвольте мне поделиться с вами захватывающим исследованием, в котором мы можем управлять экзоскелетом, глядя на мигающие огни!
Затылочная доля
Человеческий мозг - удивительный трехфунтовый орган, который контролирует все функции нашего тела. Он обрабатывает все наши мысли, это нейробиологическая основа человеческого интеллекта, творческих способностей, эмоций и памяти. Наш мозг разделен на несколько частей, каждая из которых выполняет свою основную функцию.
В этом эксперименте мы фокусируемся на затылочной доле. Это наш центр обработки изображений, часть, которая управляет нашим зрением. Он обрабатывает и позволяет нашему мозгу распознавать то, на что мы смотрим.
Тип данных, которые мы можем собирать из нашего мозга
Назначение интерфейса мозг-компьютер (BCI) - иметь прямой канал связи между мозгом и внешним устройством. Это позволяет пользователям взаимодействовать с компьютерами посредством мозговой активности.
BCI - это не устройство для чтения мыслей, как Cerebro. Вместо этого он обнаруживает изменения в энергии, излучаемой мозгом. Человеческий мозг содержит около 86 миллиардов нейронов, каждый из которых индивидуально связан с другими нейронами. Каждый раз, когда мы думаем или двигаем мышцу, эти нейроны работают, активированные энергией. BCI распознает эти энергетические паттерны в мозге.
Электроэнцефалограмма (ЭЭГ) - популярный метод записи сигналов нашего мозга. Это неинвазивный метод, поэтому нам не нужно разрезать череп, чтобы получать сигналы мозга.
ЭЭГ регистрирует энергию, генерируемую мозгом, с помощью ряда электродов, помещенных на кожу головы. Это предполагает, что человек носит колпачок ЭЭГ с электродами, размещенными в определенных точках. Эти электроды определяют активность мозга, то есть электрическую энергию, излучаемую нашим мозгом.
Для этого эксперимента мы хотим записывать сигналы мозга, связанные с тем, на что смотрят наши глаза. Поместив электроды в область затылочной доли, электроды будут улавливать сигналы от того, что мы видим. При этом мерцающие огни. Этот тип сигналов ЭЭГ называется устойчивым зрительным вызванным потенциалом.
Устойчивый визуальный вызванный потенциал
Устойчивый визуальный вызванный потенциал (SSVEP) - это сигналы, генерируемые, когда мы смотрим на что-то мерцающее, обычно на частотах от 1 до 100 Гц. В этом эксперименте эти мерцающие огни представляют собой мигающие светодиоды. Эти мигающие огни - стимулы.
Рассмотрим систему интерфейса мозг-компьютер, цель которой - расшифровать ввод пользователя для одного из двух возможных вариантов: «влево» или «вправо». Есть два стимула: один для выбора «левого» варианта, а другой для «правого».
Два стимула мерцают с разной частотой: 11 Гц означает «поворот налево»; а «повернуть направо» - 15 Гц. Пользователи выбирают варианты, сосредотачиваясь на одном из стимулов. Например, сосредоточив внимание на стимуле «влево», чтобы выбрать параметр «влево».
Когда пользователь сосредотачивается на одном из стимулов, частоты этого конкретного стимула можно уловить в затылочной доле. Мы можем определить, на каком свете фокусируется пользователь, извлекая частоту стимула из сигналов ЭЭГ. Вот как система BCI может интерпретировать сигналы мозга SSVEP в инструкции для внешних устройств.
Это видео показывает живую демонстрацию того, как на сигналы SSVEP может влиять то, на чем фокусируются наши глаза.
Экспериментальная установка
Korean University разработал экспериментальную среду для управления экзоскелетом нижних конечностей с помощью SSVEP. Пользователи могут управлять экзоскелетом, сосредотачивая свое внимание на желаемых стимулах.
Пользователь может выбрать одно из пяти доступных действий для управления экзоскелетом. Это соответствует мерцанию пяти светодиодов на разных частотах.
- идти вперед (9 Гц)
- поверните налево (11 Гц)
- поверните направо (15 Гц)
- встать (13 Гц)
- сесть (17 Гц)
Если вы хотите двигаться вперед, пользователь сосредотачивается на светодиодном диоде, который мигает с частотой 9 Гц. Точно так же, сфокусировавшись на светодиодном диоде, мигающем с частотой 15 Гц, он заставит экзоскелет повернуть направо.
Во время эксперимента пользователю предоставляются голосовые инструкции. Их задача заключалась в том, чтобы следовать данным инструкциям и управлять экзоскелетом в соответствии с ними, фокусируясь на соответствующем светодиоде.
Для построения классификатора контролируемого обучения собранные сигналы ЭЭГ являются входными данными, а назначенные задачи - метками. Для этого эксперимента авторы выбрали восемь электродов на крышке ЭЭГ, это соответствует восьми каналам во входных данных.
Они также выполнили быстрое преобразование Фурье для преобразования сигнала из временной области в частотную. Это привело к 120 выборкам во входных данных. Итак, входные данные - это сигнал размером 120x8.
Сверточный классификатор нейронной сети
Но-Санг Квак и др. предложил надежный классификатор SSVEP с использованием сверточной нейронной сети. В газете они назвали его CNN-1. Он имеет два скрытых слоя с размером ядра 1x8 и 11x1 соответственно. За ними следует выходной слой с 5 единицами, который представляет пять возможных действий для движения экзоскелета. Скорость обучения составляла 0,1, а веса были инициализированы с нормальным распределением.
Авторы также реализовали две другие нейронные сети и три метода обработки сигналов для сравнения производительности с CNN-1:
- Архитектура CNN №2 (CNN-2): аналогична описанной архитектуре CNN, но включает в себя дополнительные 3-элементные полностью подключенные уровни перед выходным уровнем.
- Feedforward (NN): простая трехуровневая полностью связанная нейронная сеть прямого распространения.
- Канонический корреляционный анализ (CCA): канонический корреляционный анализ - популярный подход для поиска корреляции между целевой частотой и сигналом. CCA всегда был методом выбора для классификации SSVEP
- Индекс многомерной синхронизации (MSI): индекс многомерной синхронизации оценивает синхронизацию между двумя сигналами как индекс для декодирования частоты стимула.
- CCA + k-ближайших соседей (CCA-KNN): канонический корреляционный анализ с k-ближайшими соседями.
Эти методы используются для сравнения производительности с описанной выше архитектурой CNN-1. Я не приводил подробностей по каждому классификатору, потому что CNN-1 имеет лучшую производительность, и это наша цель.
Оценка
Авторы выполнили 10-кратную перекрестную проверку с 13500 обучающими данными и 1500 тестовыми данными. В этой таблице показана точность классификации для каждого классификатора.
Эта таблица показывает, что CNN-1 превзошел другие архитектуры нейронных сетей. CNN-1 также показал себя лучше, чем CCA, популярный метод классификации SSVEP. В целом результаты нейронной сети более надежны, чем CCA, поскольку CCA демонстрирует значительно более низкую производительность.
Глубокие нейронные сети обычно лучше работают с большими объемами данных. Чтобы узнать, какой объем данных требуется, чтобы превзойти традиционные методы. Авторы проверяют производительность с различным размером обучающей выборки.
CNN-1 превосходит другие нейронные сети по каждому количеству данных. Однако CCA-KNN показывает лучшую производительность классификации менее чем для 4500 образцов обучающих данных.
Упаковать
В этом исследовании цель состоит в том, чтобы построить надежную систему BCI с классификатором глубокого обучения. Сверточная нейронная сеть показала многообещающие и очень надежные характеристики для классификации SSVEP.
Системы BCI обладают огромным потенциалом для помощи людям с ограниченными возможностями в управлении такими устройствами, как экзоскелет (например, Ironman) или инвалидное кресло (например, Professor X).
Но создание надежной системы BCI - сложная задача, и все еще требуются значительные усилия, чтобы вывести эти устройства из лаборатории на массовый рынок.
использованная литература
Квак, Н.С., Мюллер, К. and Lee, S.W., 2017. Сверточная нейронная сеть для устойчивой классификации визуальных вызванных потенциалов в амбулаторных условиях.
Лин, З., Чжан, К., Ву, В. и Гао, X., 2006. Распознавание частот на основе канонического корреляционного анализа для BCI на основе SSVEP.
Чжан, Ю., Сюй, П., Ченг, К., Яо, Д., 2014. Многомерный индекс синхронизации для распознавания частоты интерфейса мозг-компьютер на основе SSVEP.
