Сократите энергопотребление и пропускную способность с помощью методов адаптивной выборки для приложений IoT.

Интернет вещей (IoT) теперь представляет собой вездесущую сеть подключенных устройств, которые общаются и обмениваются данными через Интернет. Эти устройства могут быть чем угодно: от мониторинга промышленного оборудования, систем мониторинга погоды и качества воздуха и камер видеонаблюдения до интеллектуальных термостатов и холодильников, а также носимых фитнес-трекеров. По мере увеличения количества IoT-устройств увеличивается и объем генерируемых ими данных. Типичным применением этих данных является повышение производительности и эффективности отслеживаемых систем и получение информации о поведении и предпочтениях их пользователей.

Однако огромный объем затрудняет сбор и анализ таких данных. Кроме того, большой объем данных может привести к перегрузке как каналов связи, так и ограниченного количества энергии и обработки на периферийных устройствах. Здесь в игру вступают методы адаптивной выборки. Эти методы могут снизить рабочую нагрузку, максимизировать требования к использованию ресурсов и повысить точность и надежность данных.

Адаптивная выборка

Методы адаптивной выборки «адаптируют» свою частоту выборки или передачи в зависимости от конкретных потребностей устройства или изменений в интересующей системе. Например, рассмотрим устройство с ограниченным тарифным планом, маломощным аккумулятором или платформой с ограниченными вычислительными ресурсами.

Примеры:

  • Датчик контроля температуры может собирать данные чаще, когда происходят быстрые изменения температуры, и реже, когда температура остается стабильной.
  • Камера безопасности захватывает изображения с более высокой частотой кадров или более высоким разрешением, когда в поле зрения происходит какая-либо активность.
  • Измеритель твердых частиц в воздухе увеличивает частоту отбора проб, когда замечает ухудшение качества воздуха.
  • Беспилотный автомобиль постоянно ощущает окружающую среду, но может отправлять особые пограничные случаи обратно на центральный сервер для обнаружения пограничных случаев.

Что и где пробовать

Ваши ожидаемые улучшения использования ресурсов определяют, что и где брать для сэмплирования. Существует два сайта для осуществления выборки: при измерении или при передаче.

Отбор проб при измерении:

  • Пограничное устройство будет измерять (или обновлять частоту измерений) только тогда, когда алгоритм (работающий на пограничном устройстве или на сервере) сочтет его подходящим.
  • Снижает мощность и вычислительную мощность.
  • Периодически улучшает использование пропускной способности сети.

Выборка при передаче:

  • Пограничное устройство непрерывно измеряет и обрабатывает его с помощью некоторого локального алгоритма. Если образец имеет высокую энтропию, загрузите данные в облако/сервер.
  • Мощность и вычислительные мощности при измерении не пострадали.
  • Уменьшает использование пропускной способности сети.

Определение важных и полезных данных

Мы часто слышали термин данные, данные, данные. Но все ли данные равны? Не совсем. Данные наиболее полезны, когда они несут информацию. Это верно даже для приложений больших данных, которые, по общему признанию, очень требовательны к данным. Например, Машинное обучение и статистические системы нуждаются в высококачественных данных, а не только в больших количествах.

Так как же найти качественные данные? Энтропия!

Энтропия

Энтропия — это мера неопределенности в системе. В более интуитивном объяснении энтропия — это мера «информации» в системе. Например, система с постоянной величиной или постоянной скоростью изменения (скажем, температуры). В оптимальных условиях работы новой информации нет. Вы будете получать ожидаемое измерение каждый раз, когда делаете выборку; это низкая энтропия.

С другой стороны, если температура изменяется «шумно» или «неожиданно», энтропия в системе высока; есть новая и интересная информация. Чем неожиданнее изменение, тем больше энтропия и тем важнее это измерение.

Энтропия в теории информации.

Когда вероятность появления p(x) низкая, энтропия высока, и наоборот. Вероятность измерения, равная 1 (что-то, что мы действительно ожидаем, произойдет) дает 0 энтропии, и это правильно.

Этот принцип "информативности" является центральным для адаптивной выборки.

Некоторые современные методы

Основной логический поток во всех адаптивных методах:

Использование «Прогнозов модели» для понимания содержащейся информации

в новых измерениях (выборочные данные).

Эти алгоритмы Model Prediction анализируют прошлые данные и выявляют закономерности, которые помогают предсказать вероятность возникновения события с высокой энтропией, позволяя системе сосредоточить свои усилия по сбору данных. Магия заключается в том, насколько хорошо мы можем моделировать наши прогнозы.

Методы адаптивной фильтрации:

  • Эти методы применяют методы фильтрации измерений для оценки измерений на следующих временных шагах.
  • Это могут быть методы FIR (конечная импульсная характеристика) или IIR (бесконечная импульсная характеристика), такие как:
  • Взвешенное скользящее среднее (можно сделать более выразительным с помощью вероятностной или экспоненциальной обработки)

Методы на основе скользящего окна

  • Они относительно несложные, но могут иметь нетривиальный объем памяти для буферизации прошлых измерений.
  • Нужны небольшие объемы данных для настройки.

Методы фильтра Калмана:

  • Фильтры Калмана эффективны и занимают мало места в памяти.
  • Они могут быть относительно сложными и сложными в настройке, но хорошо работают при правильной настройке.
  • Нужны небольшие объемы данных для настройки.

Методы машинного обучения:

  • Используя прошлые собранные данные, мы можем построить модели машинного обучения, чтобы предсказать следующее состояние наблюдаемой системы.
  • Они более сложные, но также хорошо обобщают.
  • В зависимости от задачи и сложности для обучения могут потребоваться большие объемы данных.

Основные преимущества

  • Повышенная эффективность. Собирая и анализируя данные из подмножества доступных данных, устройства Интернета вещей могут снизить рабочую нагрузку и требования к ресурсам. Это помогает повысить эффективность и производительность, а также сократить расходы на сбор, анализ и хранение данных.
  • Более высокая точность. Выбирая источники данных, которые с наибольшей вероятностью предоставят наиболее ценные или информативные данные, методы адаптивной выборки могут помочь повысить точность и надежность данных. Это может быть особенно полезно для принятия решений или действий на основе данных.
  • Большая гибкость. Методы адаптивной выборки позволяют устройствам Интернета вещей адаптироваться к изменениям в источниках данных или самих данных. Это может быть особенно полезно для устройств, развернутых в динамических или изменяющихся средах, где данные могут меняться со временем.
  • Уменьшение сложности постобработки. Собирая и анализируя данные из подмножества доступных источников данных, методы адаптивной выборки могут помочь уменьшить сложность данных и упростить их понимание и анализ. Это может быть особенно полезно для устройств с ограниченной вычислительной мощностью или емкостью памяти, а также для групп с ограниченными ресурсами в области анализа и обработки данных/инженерных ресурсов.

Возможные ограничения

  • Смещение выборки. Выбирая подмножество данных, методы адаптивной выборки могут внести в данные погрешность выбора. Это может произойти, если модели и системы обучаются на определенном типе данных, который не является репрезентативным для общей совокупности данных, что приводит к неточным или ненадежным выводам.
  • Ошибки выборки. Существует риск возникновения ошибок в процессе выборки, которые могут повлиять на точность и надежность данных. Эти ошибки могут быть вызваны неправильными процедурами выборки, неадекватным размером выборки или неоптимальными конфигурациями.
  • Ограничения по ресурсам. Методы адаптивной выборки могут потребовать дополнительной вычислительной мощности, емкости хранилища или полосы пропускания, которые могут быть доступны не на всех устройствах IoT. Это может ограничить методы адаптивной выборки на определенных устройствах или в определенных средах.
  • Сложность во время выполнения. Методы адаптивной выборки могут включать использование алгоритмов машинного обучения или других сложных процессов, которые могут усложнить процесс сбора и анализа данных. Это может быть проблемой для устройств с ограниченной вычислительной мощностью или объемом памяти.

Обходные пути

  • Поэтапное развертывание. Вместо развертывания схемы выборки на всех устройствах используйте небольшие, но репрезентативные тестовые группы. Затем «выборочные» данные из этих групп могут быть проанализированы на предмет предвзятости и несоответствий в отношении более обширных наборов данных. Опять же, это можно делать поэтапно и многократно, чтобы наша система никогда не была сильно предвзятой.
  • Набор методов выборки. Различные устройства могут быть оснащены несколько разными методами выборки, варьирующимися от размера выборки и окон до различных алгоритмов. Конечно, это усложняет постобработку, но избавляет от ошибок выборки и ошибок выбора.
  • Ограничения ресурсов и сложность среды выполнения трудно смягчить. К сожалению, это цена внедрения лучших методов выборки.
  • Наконец, тестируйте, тестируйте и еще раз тестируйте.

Выводы

  • Адаптивная выборка может быть полезным инструментом для IoT, если можно смоделировать наблюдаемую систему.
  • Мы кратко представили несколько подходов к моделированию различной сложности.
  • Мы обсудили некоторые преимущества, проблемы и решения для развертывания.

Ссылки

Эта статья изначально была опубликована здесь: https://dzone.com/articles/adaptive-sampling-in-an-iot-world