Можно ли записать выражение Grok для обогащения файлов журнала в FileBeat перед отправкой в ​​Logstash / эластичный поиск

Мой вариант использования - отправлять файлы журналов из различных приложений в Elasticsearch, чтобы я мог просматривать их из Kibana.

Я хотел знать, можно ли настроить Filebeat для выражения Grok, чтобы группа приложений могла управлять своим анализом журналов на своем конце, а центральная система / развертывание журналов не пострадала? Если это возможно, то необходимость в Logstash сомнительна. Я вижу, что Filebeat поддерживает многострочные выражения, но могу ли я определить другое выражение Grok и добавить / удалить поля, проанализировав сообщение?


person Rohit    schedule 20.05.2016    source источник


Ответы (1)


Filebeat не выполняет обработку Grok. Поэтому вам нужно будет отправить данные в Logstash для обработки.

В Elasticsearch 5.0 появилась новая функция, которая называется Узел приема, который позволит выполнить некоторую простую обработку Grok без необходимости Logstash (например, Filebeat -> Elasticsearch).

person A J    schedule 20.05.2016