Сообщения очереди Filebeat/logstash в пиковые периоды

У меня есть один сервер с Elasticsearch, Logstash и Kibana. Входящие сообщения отправляются на этот сервер примерно с 10 удаленных серверов с помощью Filebeat.

Трафик с 10 хостов довольно «резкий», и в часы пик я ожидаю, что входящие запросы будут достигать 100 тыс. записей в минуту в течение 15 минут.

Мой вопрос: если logstash не может обрабатывать 100 тыс. запросов в минуту, начинает ли filebeat дросселировать или продолжает отправлять запросы на удаленный сервер logstash?

Кроме того, если сервер ELK не работает или недоступен, теряются ли сообщения или Filebeat ждет, пока сервер ELK снова станет доступен, прежде чем начать отправку сообщений?

Я просмотрел документы Filebeat и не могу найти ответы на эти вопросы. Спасибо за любые указатели.


filebeat logstash
person smilin_stan    schedule 10.06.2016    source источник
comment
По моему опыту, вы должны использовать Kafka или Redis в качестве транспортного уровня, чтобы ваши данные не были потеряны в сценарии, когда Logstash не работает.   -  person Yuvraj Gupta    schedule 12.06.2016
comment
Спасибо за комментарий, я разделил свой единственный конвейер logstash на два, при этом Redis действует как очередь между ними, чтобы поглощать любые всплески запросов.   -  person smilin_stan    schedule 15.06.2016

Ответы (1)


arrow_upward
0
arrow_downward

Filebeat — это служба, основанная на соединении, она гарантирует, что может взаимодействовать с сервером перед отправкой журналов, и ждет, пока эти журналы получат ACK от Logstash. Кроме того, если Logstash не может идти в ногу, плагин ввода beats обнаружит «замедление конвейера» и сообщит Filebeat о временном отключении.

Я посмотрю, смогу ли я найти официальные ссылки на эти факты.

person Will Barnwell    schedule 10.06.2016