Резюме:
Мы разработали этот проект специально для людей с дефектами речи. Мы создали носимую перчатку для рук, которую они могут носить, и она преобразует язык жестов (американский язык жестов) в речевой вывод. Перчатка работает на принципах алгоритма машинного обучения, который распознает жесты независимо от размера рук. Кроме того, это облегчается благодаря модулю Bluetooth, так что два человека с нарушением речи могут разговаривать друг с другом удаленно в пределах 50 метров, используя язык жестов.

Этот проект был частью нашего проекта заключительного семестра в Школе инженерии и прикладных наук Ахмедабадского университета. Мы были командой из двух студентов Раханы Соланки и I, которые интересовались дизайном взаимодействия и взаимодействием человека и компьютера, и в настоящее время изучаем ту же степень магистра.

Как это началось?
Я и Рачана оба были заинтересованы в изучении концепций того, как люди взаимодействуют с реальным миром, с какими проблемами они сталкиваются и как их можно решить. . Итак, когда были сделаны анонсы проекта, мы решили заняться проектом, который позволит нам работать над жестами и их преобразованием. Мы продолжили поиск в Интернете, а также провели дополнительное исследование и нашли различные проекты, в которых задействовано взаимодействие жестов. Из всех этих вдохновляющих идей мы выбрали именно этот проект. Очевидно, что было много проектов, которые были разработаны в этой области до того, как мы ее начали, и поэтому мы решили просмотреть доступные исследовательские работы и выяснить проблемы, с которыми сталкиваются такие люди, и постарались сделать все возможное, чтобы решить их, насколько это было возможно. .

Проблема
Изучив несколько исследовательских работ, опубликованных IEEE, мы узнали о трех основных проблемах:

1. Конструирование перчатки таким образом, чтобы ее можно было легко носить и использовать.
2. Перчатка генерировала разные выходные данные для разных размеров рук, поскольку определенные жесты были разными для разных размеров рук.
3. Не было альтернативы, с помощью которой два человека с нарушением речи могли бы удаленно общаться, кроме видеозвонков! (Для этого им всегда нужен ноутбук! Причина очевидна!)
Итак, это было основной мотивацией начала проекта.

Определяя роли, я в основном отвечал за определение жестов и написание алгоритма машинного обучения, который может помочь нам обеспечить точный результат, в то время как Рачана проделал отличную работу, сделав перчатку и облегчив ее с помощью беспроводной связи. коммуникация.

Процесс

1. Подход и собеседование
Для начала этого проекта мы использовали подход к проектированию, ориентированному на пользователя (с некоторыми концепциями модели Genius), чтобы спроектировать пользовательский опыт на основе двух курсов UCD, которые мы взяты во время семестровых занятий. Итак, сначала мы определили проблемы (которые упомянуты в разделе «Проблемы») из нашего вторичного исследования, а позже, когда мы обсуждали проблему, мы решили спросить некоторых людей, которые могут направить нас в правильном направлении. Итак, мы пошли в одну из школ для особо способных людей в Бхавнагаре (мой родной город) и провели интервью с одним из факультетов этой школы, миссис Кавита Шах, и после разговора с ней мы узнали некоторые идеи, которые упомянуто ниже:

  1. Этим ученикам также становится трудно общаться с обычной публикой на дорогах, в магазинах или других общественных местах, поскольку большинство людей не знают языка жестов.
  2. Второй момент касался эмоций. Г-жа Шах сказала нам, что, когда они видят, как нормальные люди разговаривают друг с другом, они, естественно, испытывают не только ревность, но и любопытство. Когда они видят, что нормальные люди разговаривают обычным образом, им становится любопытно, о чем эти парни говорят, и завидуют тому, почему они не могут говорить в той же манере. Это сильно влияет на их психическое здоровье.
  3. И вообще, у большинства школьников, приезжающих из сельской местности, их родители недостаточно грамотны, а также не имеют представления о языке жестов. Таким образом, этим ученикам становится трудно общаться с людьми, живущими с ними.

Все эти моменты побудили нас активно заниматься этим проектом со скромным намерением решить их проблемы, насколько это возможно.

2. Дизайн и реализация перчатки:
Мы решили использовать датчики изгиба для определения жестов, поскольку они используются в качестве датчиков изгиба для определения значения изгиба. Наша система полностью основана на платформе Arduino, где мы использовали Arduino Nano для перчатки.

Как показано на блок-схеме, пять гибких датчиков были использованы для пяти пальцев, которые подключены к микроконтроллеру (в данном случае Arduino Nano!), А передатчик (модуль Bluetooth) подключен к нему для передачи знаков на другие системы.

Мы реализовали алгоритм k-NN для концепций машинного обучения и использовали метод обучения с учителем для обучения нашей модели. Поскольку нашей основной задачей было развертывание простых английских алфавитов, мы взяли жесты от 21 человека и записали все экземпляры алфавитных жестов, которых было около 33000, и мы использовали 66,66% от общего числа экземпляров в качестве набора данных для обучения, а остальные экземпляры - в качестве нашего набора данных. Набор данных тестирования. И мы были достаточно удивлены тем, что наша система работала с точностью 96,9372%, что является самым высоким показателем среди всех прочитанных нами исследовательских работ. Мы также пробовали разные алгоритмы, такие как ZeroR и Neural Network, но k-NN дала нам лучший результат с временем построения модели всего 0,03 секунды.

Третьей важной реализацией были протоколы связи. Мы использовали модуль Bluetooth HC05 для установления связи между двумя системами. Поскольку эта система все еще находится в стадии разработки, мы можем добиться односторонней связи через систему.

Вот как мы разработали и внедрили нашу систему.

Возникшие проблемы
Основная проблема, с которой мы столкнулись при работе над этим проектом, была связана с дизайном перчатки. Нам не удалось прикрепить датчики изгиба к перчатке, так как они были довольно свободными и легко соскальзывали.
Вторая проблема заключалась в налаживании системы связи. Модули HC05 очень сложно использовать, особенно с Arduino. Я до сих пор помню, что мы смогли установить связь и работать с ней всего за две недели до окончательного срока подачи заявок.

Неудачи и успехи:
Во время работы над нашим проектом мы больше всего потерпели неудачу из-за того, что наша исследовательская работа не была выбрана для конференции IHCI 2017. Это произошло только потому, что мы не смогли разработать полную систему, которая представляет собой сквозную коммуникацию, к установленному сроку.

Успешный результат, который мне больше всего понравился в этом проекте, - это его точность и способность передавать и принимать сигналы от передатчика к приемнику. Еще одна причина, по которой нам повезло, - это радость и счастье, которые мы испытали во время и после этого проекта. Это произошло потому, что мы могли внести свою лепту для людей, которые действительно в этом нуждаются, вместо того, чтобы делать повторяющийся проект, который обычно выполняется на Facebook, BookmyShow или Uber.

Что дальше
В будущем, как продолжение нашей прошлой работы, мы хотим разработать сквозную систему, включающую двустороннюю связь, и позже мы планируем протестировать ее с реальных пользователей с целью получения их отзывов и доработки нашего продукта.

Вы можете посмотреть демонстрационные видео на YouTube по ссылкам, приведенным ниже:
Демонстрация общего сценария: https://youtu.be/diUHu5csByY
Демонстрация Bluetooth: https://youtu.be/hkx75P8xdxw

Если вы хотите подробнее обсудить этот проект, вы можете связаться со мной в LinkedIn! Мы хотели бы услышать ваши советы или будущие возможности для этого проекта.

Мы хотели бы услышать ваши громкие аплодисменты, если вы оцените идею и результат, если они тронут ваше сердце.

Спасибо!

Я практикующий специалист по дизайну пользовательского интерфейса, учусь в Harbour Space University в Барселоне, Испания. Вы можете увидеть больше моих проектов и узнать больше обо мне на моем сайте http://stavanhimal.com