Использование алгоритмов машинного обучения, Amazon Alexa и DeviceHive
В эпоху, когда все стремятся стать умными, все еще есть устройства и устаревшее оборудование, которые остаются прежними. Они хорошо выполняют свои обязанности, но что, если они могут сделать гораздо больше?
Мы рассмотрели сценарий простого лифта, подключенного к Интернету, с новыми функциями и услугами. Люди пользуются лифтами каждый день. Так что давайте сделаем его безопаснее, умнее и надежнее.
Включение приложений
На разработку нового функционала всегда уходит довольно много времени. Но что, если бы вы могли просто добавить его на свое устройство, установив новое приложение?
Мы разработали интегрированные сервисы, которые будут упакованы в пакеты Canonical. Его архитектура позволяет любому разработчику создавать собственный фирменный магазин приложений и загружать снимки для их распространения.
После того, как устройство поддерживает приложение, оно становится частью экосистемы оснастки с огромным количеством решений, доступных для платформы. Эта технология позволяет добавлять новые сервисы к оборудованию, не изменяя его основных характеристик. Вся демонстрация была разработана, чтобы показать, насколько легко это можно сделать.
Безопаснее
Чтобы повысить безопасность и сделать лифт более безопасным, мы использовали алгоритмы машинного обучения. Эти алгоритмы позволили нам отслеживать агрессивное поведение, оружие, одежду, эмоции, состояние здоровья и т. Д.
Обычно злоумышленники стараются скрыть лицо перед совершением ограбления / нападения. Мы взяли этот факт за отправную точку и обучили алгоритмы машинного обучения распознавать маски на людях, но не реагировать на тех, кто просто держит маску.
Как только лыжная маска обнаружена, система подает сигнал тревоги, отправляет текстовые сообщения и вызывает сотрудников службы безопасности. Кроме того, теоретически можно было бы заблокировать двери лифта до прибытия полиции.
Видеопоток с камеры лифта анализируется с помощью модели TensorFlow, обученной распознавать лыжные маски. В случае положительного распознавания выдается предупреждение.
- Вызывается API-вызов телефонного сервера RestComm - это запускает предварительно настроенные действия (например, отправку текстовых сообщений или выполнение вызовов); по телефону он также может предоставить некоторую информацию.
- Включен свет сирены - для этого мы прошили микросхему ESP8266 кастомной прошивкой DeviceHive.
Умнее
В предыдущем посте мы говорили о том, как превратить любое устройство на базе Linux в устройство Amazon Echo. Мы также реализовали его здесь и, чтобы продемонстрировать решение в действии, интегрировали Alexa с DeviceHive.
Мы использовали облачное решение DeviceHive для управления светодиодной лентой для визуальной демонстрации голосовых команд. Основная задача заключалась в разработке решения, активируемого голосом, которое могло бы работать на самых разных платах. Ubuntu обеспечивает поддержку этих плат, включая платы x64 и ARM, такие как Raspberry Pi.
Каждый запрос к Alexa должен инициироваться человеческой речью. Итак, мы добавили алгоритм локального распознавания голоса для обнаружения ключевого слова «Alexa». Как только он слышит это ключевое слово, он записывает звук до тех пор, пока речь не останавливается, и отправляет его в облачный сервис Amazon Alexa.
Для широкой поддержки оборудования мы разработали пакет на основе Amazon Alexa API. Затем мы упаковали это приложение в пакет Canonical snap, чтобы обеспечить простую настройку и транзакционные обновления.
В качестве визуального устройства мы использовали светодиодную ленту WS2812B, которая была подключена к микросхеме ESP8266 с нашей прошивкой DeviceHive. Эта прошивка обеспечивает подключение к серверу DeviceHive, а также поддерживает устройства со светодиодной лентой и предоставляет команды для управления ими. Таким образом, мы могли полностью контролировать светодиодную ленту, просто отправляя разные команды из приложения Alexa Skills.
Мы создали лифтовую систему с голосовым управлением с подсветкой на светодиодной ленте, изображающей этажи здания.
Кроме того, система была запрограммирована на воспроизведение рекламы мест, которые можно было найти на выбранных этажах. Он также может отвечать на такие вопросы, как «Где лучший ресторан в здании?»
Надежный
Мы интегрировали демонстрацию с Salesforce IoT Cloud через его RESTful API, чтобы регистрировать статистику использования и анализировать собранные данные. Это можно использовать для создания решения для прогнозирующего / профилактического обслуживания.
Преимущества
Мы разработали сложное решение, интегрированное с современными услугами и технологиями, добавляя новые ценности для пользователей и клиентов:
- Распознавание речи, благодаря которому голосовые команды становятся частью экосистемы Интернета вещей. В решении используются веб-службы, которые позволяют масштабировать его на гораздо более крупные системы и легко переносить с одной аппаратной платформы на другую.
- Использование подхода машинного обучения обеспечивает повышенную безопасность.
- Облачные технологии позволяют компаниям быть более инновационными, быстрее разрабатывать бизнес-модели и использовать хорошо известные высококачественные продукты в индивидуальных решениях.
- Интеграция Salesforce IoT Cloud для регистрации и анализа данных об использовании.
- Возможность добавлять новые функции и функции в виде приложений.
Технология
Стек технологий включает: Amazon Web Services, Amazon Alexa, облачный сервис DeviceHive, прошивку DeviceHive, Linux, Python, C, Ubuntu Snaps, Snapcraft, Java, JavaScript, TensorFlow и Restcomm.
Автор Игорь Илунин, руководитель отдела Интернета вещей компании DataArt.
