Лучший подход к созданию механизма правил в реальном времени для наших потоковых событий

Мы находимся в начале создания проекта облачной платформы Интернета вещей. Есть определенные хорошо известные части для достижения полного решения платформы IoT. Одним из них является система обработки правил / движка в реальном времени, которая необходима для понимания того, что события потоковой передачи сопоставляются с любыми правилами, динамически определяемыми конечными пользователями в удобочитаемом формате (SQL или Drools if / when / then и т. Д. .)

Я настолько сбит с толку, потому что в Интернете есть много продуктов, проектов (Storm, Spark, Flink, Drools, Espertech и т. Д.), Поэтому, учитывая, что у нас есть команда разработчиков из 3 человек (младший, средний старший, старший), какой будет лучший выбор?

  • Выбираете один из потоковых проектов, например Apache Flink, и хорошо учитесь?
  • Выбор одного из комплексных решений (AWS, Azure и т. Д.)

streaming iot flink-cep complex-event-processing rule-engine
person ccobanoglu    schedule 24.05.2017    source источник

Ответы (4)


arrow_upward
4
arrow_downward

BRMS (система управления бизнес-правилами), такая как Drools, в основном построена для быстрой адаптации изменений в бизнес-логике и является более зрелой и стабильной по сравнению с механизмами потоковой обработки, такими как Apache Storm, Spark Streaming и Flink. Механизмы потоковой обработки рассчитаны на высокую пропускную способность и малую задержку. BRMS может не подходить для обслуживания сотен миллионов событий в сценариях IOT и может быть трудным для обработки оконных вычислений на основе времени событий.

Все эти решения можно использовать в провайдерах Iaas. В AWS вы также можете взглянуть на AWS EMR и Kinesis / Kinesis Analytics.

Некоторые варианты использования, которые я видел.

  1. Потоковая передача данных прямо на FlinkCEP.

  2. Используйте механизмы правил, чтобы быстро реагировать с малой задержкой, одновременно передавая данные в Spark для анализа и машинного обучения.

Вы также можете запустить Drools в Spark и Flink для горячего развертывания пользовательских правил.

person Shih-Wen Su    schedule 15.07.2018

arrow_upward
2
arrow_downward

Заявление об отказе от ответственности, я работаю на них. Но вам следует попробовать Losant. Он удобен для разработчиков, и его очень легко начать. У нас также есть механизм рабочего процесса, с помощью которого вы можете создавать собственную логику / правила для своего приложения. введите описание изображения здесь

person anaptfox    schedule 25.05.2017
comment
Есть ли способ использовать в моей инфраструктуре только этот механизм рабочего процесса? - person ccobanoglu; 26.05.2017

arrow_upward
1
arrow_downward

ознакомьтесь с механизмом правил Waylay Создан специально для потоков данных IoT в реальном времени.

person maronone    schedule 01.03.2018

arrow_upward
-2
arrow_downward

На начальном этапе перейдите на облачную платформу IoT, такую ​​как predix, AWA, SAP или Watson, для быстрой разработки продуктов и начального обучения.

person Mrityunjay    schedule 24.05.2017