В этом интерактивном проекте используется камера для обнаружения жестов рук и динамик для воспроизведения соответствующих словесных звуков.
Я был вдохновлен на создание системы, которая может сохранить и продемонстрировать распространенные алжирские и средиземноморские жесты рук, которые являются большой частью моей культуры. Я помню, как в молодости наблюдал, как мои родственники вели целые разговоры с соседями в других домах, используя только жесты рук. Они узнавали местные новости, сплетничали и делились шутками.
Этот язык жестов со временем был разбавлен и забыт. Основная причина в том, что в этом больше нет необходимости; у большинства людей есть мобильный телефон, с которого они отправляют сообщения и смайлики. Другой фактор — поколение; многие в моем поколении находятся под влиянием или эмигрировали в Западную Европу и США, где жесты рук и экспрессивное общение менее распространены.
Хотя я не традиционалист, я пришел к выводу, что английскому языку и манерам не хватает диапазона и богатства эмоционального выражения, характерного для средиземноморских культур. Я хотел разработать способ зафиксировать эмоциональный словарь этих жестов до того, как они будут полностью забыты, и обосновать невербальные выражения эмоций, которые невозможно сформулировать вербально.
В идеале это должна быть интерактивная инсталляция, где зрители могут опробовать различные жесты рук и узнать, что они означают. Даже не обязательно понимая язык, который они слышат, они могут уловить эмоцию, выраженную в тоне, и все равно наслаждаться опытом.
Как это должно было быть:
Что было на самом деле:
Я написал эту часть на C++ и использовал камеру PlayStation Eye™. Я предоставил аудиозаписи своего голоса и руки для жестов.
Сначала я создал файл данных с тремя жестами отдельно, а затем импортировал его в окончательную программу, которая распознала визуальный ввод и сопоставила его со звуковыми файлами.
Более точное считывание движения руки может быть выполнено с помощью камеры Kinect или датчика Leap Motion, которые смогут определять глубину (Gold et al., 2014), или даже с помощью датчиков, обнаруживающих движение мышц (Wei et al., 2019).
Однако более широкая цель этого проекта заключается в том, чтобы зрители могли взаимодействовать с ним вне инстилляции, используя персональные устройства, которые будут использовать только 2D-камеры. Поэтому, чтобы быть как можно более доступным, я бы приложил все усилия, чтобы сделать обнаружение движения более эффективным, возможно, используя более сложные алгоритмы машинного обучения.
Я хотел бы разработать децентрализованную библиотеку жестов с открытым исходным кодом, в которую каждый может вносить свой вклад и курировать. Алгоритмы машинного обучения могут использоваться для сопоставления и классификации жестов из разных культур. Эта библиотека поможет сохранить языки жестов, которым грозит исчезновение, и проследить пути их эволюции во времени и в географическом плане.
В эти пост-Covid-19 времена у нас есть возможность проявить творческий подход к нашим способам безопасного взаимодействия. Вдохновение жестами рук разных культур — это способ общения между людьми без потери эмоционального контекста. На самом деле, это была бы возможность добавить эмоциональное измерение, которое было бы невозможно с помощью одного лишь вербального общения.
использованная литература
Исследования:
Han, J; Золото, Северная Каролина; (2014) Уроки, извлеченные при изучении датчика Leap Motion™ для проектирования инструментов на основе жестов. В: Карамио, Б. и Тахироглу, К., и Фибринк, Р. и Танака, А., (ред.) Материалы Международной конференции по новым интерфейсам для музыкального выражения. Лондонский университет ювелиров.
Вентао Вей, Юнкан Вонг, Ю Ду, Ю Ху, Мохан Канканхалли, Вейдонг Генг (2019) Многопоточная сверточная нейронная сеть для распознавания жестов на основе sEMG в интерфейсе мышцы-компьютера, Распознавание образов Письма, том 119.
Особая благодарность:
Тео Папатеодору
Натан Адамс
