Путаница с потоковым процессором WSO2

DAS, CEP и ML не были полностью объединены в потоковый процессор.

В DAS аналитика в реальном времени выполнялась Siddhi, а пакетная аналитика - через Spark. Однако в Stream Processor только Siddhi выступает в качестве основного процессора, а Spark не используется.

Потоковый процессор обрабатывает данные в потоковом режиме через сиддхи. Чтобы выполнить требования для пакетной аналитики, можно использовать инкрементную обработку [1], которая была представлена ​​в Siddhi 4.0.0.

Также поддержка ML предоставляется посредством расширений ml, написанных для Siddhi 4.0.0.

В das / cep необходимо определить несколько артефактов, таких как получатели, планы выполнения, издатели и т. Д., Чтобы создать аналитический рабочий поток.

Но в Stream Processor можно определить весь поток в одном Siddhi-приложении.

Дополнительные разъяснения см. В руководстве по переходу с DAS на SP [2] и на сайте WSO2 Analytics [3].

[1] https://wso2.github.io/siddhi/documentation/siddhi-4.0/#incremental-aggregation

[2] https://docs.wso2.com/display/SP4xx/Upgrading+from+a+Previous+Release

[3] https://wso2.com/analytics

Потоковый процессор WSO2 - это последнее предложение аналитики WSO2. Он имеет супер-набор функций, которые имел WSO2 CEP. Ниже приводится сравнение возможностей WSO2 CEP и WSO2 SP.

Общие

• Ядром SP 4.x является последняя версия siddhi 4.x, более стабильная и улучшенная. производительность. Хотя CEP работает на Siddhi 3.x.
• SP основан на C5, и он более компактный и легкий, чем CEP, который был основан на C4.
• SP разработан для поддержки контейнеров и может быть нативным. В то время как CEP столкнулся с некоторыми проблемами при развертывании в контейнерных средах.
• Теперь все содержится в приложении Siddhi, которое представляет собой единый файл, который можно развернуть и запустить самостоятельно.

Инкрементальный анализ

• В новых сиддхи есть функция инкрементального анализа, предназначенная для пакетной аналитики. С помощью этой функции пользователи могут легко выполнять агрегирование временных рядов без необходимости интеграции с другими платформами, такими как Spark.
• Пошаговый анализ плавно объединяет аналитику в реальном времени с пакетной аналитикой, позволяя выполнять обе формы аналитики в одном потоке сообщений.

Распределенное развертывание

• SP 4.x имеет хорошо масштабируемую распределенную архитектуру. Дружественный к контейнерам характер SP позволяет масштабировать его масштабно.
• Распределенное развертывание отказоустойчиво и поддерживает однократную обработку с помощью Apache Kafka.
• Распределенная архитектура CEP была основана на Apache Storm.
• Кроме того, SP имеет встроенную поддержку для развертывания в нескольких центрах обработки данных. Пока КЭП нет.

Инструменты

• SP имеет богатый редактор, который поддерживает автозаполнение и моделирование событий. , отладка запросов siddhi и т. д. У CEP есть только пользовательский интерфейс редактора запросов в консоли управления.
• Status Dashboard SP позволяет пользователям отслеживать их развертывание с помощью исчерпывающего набора статистических данных. связанные с производительностью, потреблением ресурсов и т. д. приложений Siddhi и JVM. У CEP была поддержка углеродных метрик, которая показывает только статистику JVM.

Бизнес-правила

• SP имеет функцию бизнес-правил, в которой нетехнические пользователи могут создавать логику обработки с помощью графического пользовательского интерфейса, подобного мастеру, без необходимости настраивать запросы.
• Разработчики могут использовать эту функцию для представления сложных проблем в абстрактной форме, понятной бизнес-пользователям.
• В CEP не было функции, ориентированной на бизнес-пользователей.

Итак, мой вопрос: все изменения в CEP и ML будут течь в SP?

Я так не верю. StreamProcessor имеет только подмножество возможностей CEP, DAS или ML. ИМХО это продвигается в настоящее время, так как это новое, более легкое и быстрое