Использование logstash, config server и eureka с весенней облачной задачей и потоком данных

У нас есть существующая микросервисная среда с серверами logstash, config и eureka. Сейчас мы настраиваем среду Spring Cloud Dataflow (Kubernetes) (в первую очередь для запуска задач / пакетных заданий).

В идеале мы хотели бы, чтобы задачи использовали существующие серверы logstash, config и eureka через стандартную конфигурацию загрузки Spring (аннотации и т. Д.) Для поддержки следующих сценариев:

Logstash: при запуске задачи ее журналы выводятся в logstash и доступны для просмотра в Kibana.

Сервер конфигурации: для поддержки изменения свойств конфигурации для задач. например, конфигурацию периодической задачи можно настроить, изменив значения на сервере конфигурации, и в следующий раз, когда задача будет запущена, она будет использовать новые значения. Насколько я понимаю, свойства сервера конфигурации будут переопределять свойства в определении задачи, которые переопределяют свойства во внутреннем application.properties.

Эврика: каждая задача регистрируется в Эврике. Основная причина этого заключается в том, что наши задачи имеют открытые конечные точки веб-исполнительных механизмов, и затем мы можем использовать Spring Boot Admin (который может обнаруживать службы через eureka) для доступа к конечным точкам исполнительных механизмов и информации во время выполнения задачи. (Выполнение некоторых из наших задач может занять несколько часов, и это позволит нам отслеживать их, настраивать ведение журнала и т. Д.)

Это разумный подход - или есть ли здесь какие-либо потенциальные проблемы, на которые следует обратить внимание (например, краткосрочные задачи с эврикой). Я не могу найти обсуждение этого в существующем потоке данных Spring Cloud или документации по весеннему облаку.




Ответы (1)


Вы можете попробовать logstash-logback-encoder для интеграции SCDF со стеком ELK. Он отлично работает для нашего приложения SCDF on Yarn stream.

Config Server должен работать с любым приложением Spring Boot.

person JavyZheng    schedule 05.05.2017