Это кросспост из моего блога. Вы можете найти исходный пост здесь.

После экспериментов с изучением того, как Touché можно использовать для взаимодействия с растениями, я хотел посмотреть, как я могу использовать его для взаимодействия с водой.

В статье Touché paper авторы демонстрируют, что датчик способен определять, как пользователь касается поверхности или погружает руку в воду. Система способна различать различные сенсорные взаимодействия: отсутствие руки, 1 палец, 3 пальца и рука погружена в воду:

Я решил посмотреть, смогу ли я воспроизвести те же результаты с помощью ESP-системы.

Этот эксперимент не был таким успешным, как предыдущий, с использованием растений в качестве интерфейса (я не смог точно воспроизвести все типы взаимодействий, которые выполнял автор статьи Туше), но то, что я узнал, может дать некоторые подсказки. как улучшить интерфейс на основе Touché - вода в будущих долгосрочных проектах. Кроме того, я смог обучить систему различать два типа прикосновений:

Во-первых, состояние по умолчанию - не касаться воды:

Прикосновение к воде кончиком пальца:

Касаясь воды всеми пятью кончиками пальцев:

НАСТРОЙКА КОНФИГУРАЦИИ

На этом кадре из бумажного видео Touché вы можете увидеть то, что выглядит как металлическая пластина на дне резервуара для воды, которая подключена к цепи через провод. В повествовании в видео говорится, что электрод был помещен под контейнер - я попытался это сделать, но показания моего датчика не были такими сильными, как у электродов, которые я использовал (показаны ниже), некоторые прямой контакт с водой.

В итоге я попробовал множество различных конфигураций для работы с датчиком.

Первой моей мыслью было попробовать алюминиевую фольгу, потому что с ней дешево и легко работать:

Я пошел в «Лоу», взял стальной лист и грубо отрубил небольшой квадратик, который поместился бы в мой резервуар для воды. Сначала я попытался погрузить пластину в воду, но это, похоже, сделало систему менее отзывчивой, чем если бы пластина была поставлена ​​вертикально напротив угла контейнера Tupperware, как показано ниже:

Похоже, это сработало * ОК *, но я хотел продолжить эксперименты с электродами и емкостями для воды. Я попробовал обернуть стальную пластину припоем, а затем подсоединить зажим типа «крокодил» к одному из концов припоя:

Эта конфигурация оказалась не очень эффективной.

Наконец, я взял стеклянную посуду и расположил стальной электрод горизонтально, как показано ниже:

Опять же, я не смог натренировать систему распознавания жестов, чтобы различать прикосновения, кроме того, была ли рука помещена в воду или нет.

Комбинация контейнера Tupperware и стальной пластины в вертикальном положении, по-видимому, дала лучшие результаты из любой из конфигураций, которые я пробовал - я смог обучить распознаватель жестов различать, касаются ли поверхности один или пять пальцев. воды; и была ли рука в контакте с водой.

Вот небольшой видеоролик об используемой системе:

КОД

Эскиз обработки + модель ESP находятся на GitHub здесь. Если вы пытаетесь повторить эксперименты, показанные здесь, вам, скорее всего, потребуется обучить собственную модель; поскольку точность будет зависеть от индивидуальных настроек.

ДАЛЬНЕЙШИЕ ЦЕЛИ

Хотя в этом эксперименте мне не удалось получить результаты, которые я обязательно хотел получить, я считаю, что есть много возможностей для дальнейших исследований и исследований, которые могут пролить некоторое представление о более глубоком понимании того, как работает система Touché, и как это можно сделать. применяться для создания интерфейса на водной основе.

Протестируйте большее количество контейнеров и электродов - мне кажется, что это, вероятно, ключ к созданию лучшего интерфейса на водной основе. Важно помнить, что результаты этого исследования определят, как интерфейс будет использоваться в контексте; будь то инсталляция, игра или сценарий виртуальной реальности.

Лучшее понимание машин опорных векторов. Это было бы полезно, чтобы я мог понять, почему разработчики Touché выбрали именно этот алгоритм. В настоящее время я бы сказал, что у меня довольно поверхностное знание алгоритмов, используемых в контекстах интерактивного машинного обучения ... часто параметры, используемые в этих ситуациях, все еще немного похожи на магические числа. Я думаю, что более глубокое погружение в природу алгоритмов будет полезно для создания более точных систем распознавания жестов.

Поэкспериментируйте с модулями предварительной и постобработки для конвейера машинного обучения. В GRT есть несколько модулей для обработки входящих данных до и после их отправки через модуль классификации или регрессии. Некоторые из этих модулей могут быть полезны при фильтрации сенсорных данных от сенсора, потенциально обеспечивая более точную классификацию жестов.

Я до сих пор считаю этот эксперимент по созданию прототипа успешным, так как я смог использовать повседневные предметы (контейнер Tupperware, лист стали, стандартную электронику) для создания системы, которая могла бы различать, касаюсь ли я поверхности воды. одним пальцем, пятью пальцами или вообще не касаясь воды.

ПОДРАЗУМЕВАЕМОЕ

Учитывая мультисенсорные характеристики и эмоциональный резонанс, вода может быть интересным выбором для интерфейса в игре, инсталляции или в контексте AR / VR.

Пьер и Голдберг в своей статье Использование воды в качестве интерфейса в приложениях виртуальной реальности убедительно доказывают, почему использование воды может быть интересным и привлекательным цифровым интерфейсом. Они заявляют

«По нашему опыту, прикосновение к настоящей воде оказалось довольно драматичным в качестве тактильного интерфейса, поскольку оно включает в себя гораздо больше, чем простой контакт кожи с водой, эффект усиливается за счет температуры и влажности, которые влияют на восприятие пользователя».

Аспекты воды, которые измеряли авторы, были давлением, потоком и движением. Было бы интересно объединить их с сенсором Touché в настройке слияния сенсоров (в результате чего несколько различных типов сенсоров объединяются в один поток данных, который подается на классификатор машинного обучения, который затем будет обнаруживать значимые данные на основе комбинации входы).

В статье «Захват воды и звуковых волн для взаимодействия с виртуальной природой» Диас и др. предлагают взаимодействие с водой (и ветром, в их конкретных экспериментах) как способ «… дать пользователю ощущение, что его / ее присутствие влияет на виртуальный мир, а затем позволить пользователю почувствовать, что действия, которые он / она предпринимает, реальный мир может плавно изменить виртуальный для достижения виртуальной биологической обратной связи »… другими словами, используя водный интерфейс в качестве моста между физическим и виртуальным мирами.

Остается еще много работы по экспериментам с интерфейсами на водной основе - датчики, такие как Touché, могут обеспечивать больше взаимодействий, которые помогают использовать нашу повседневную среду.