Я создаю приложение для потоковой аналитики с помощью Spark, Flink & Kafka. Каждая аналитика / функциональность будет реализована как микросервис, чтобы эту аналитику можно было использовать позже в другом проекте.
Я отлично выполняю задание Spark / Flink в приложении Simple Scala и отправляю это задание через кластер Spark и Flink соответственно. Но мне нужно запустить / запустить это задание, когда запрос REST POST startJob () вызывает мою веб-службу.
Как я могу интегрировать свои функции обработки данных Spark & Flink в приложение, ориентированное на веб-службы?
До сих пор я пробовал Lagom Microservice, но обнаружил так много проблем, которые вы можете проверить
- Лучший подход к получению потоковых данных в микросервисе Lagom
- java.io.NotSerializableException с использованием Apache Flink с Lagom
Я думаю, что иду в неправильном направлении в отношении приложения микросервиса потоковой обработки. Ищем правильное направление для реализации этой аналитики через службу REST.
