Могут ли данные журнала, представленные как веб-служба, быть входными для Elasticssearch?

У меня есть несколько приложений, работающих в разных центрах обработки данных, разработанных и поддерживаемых разными поставщиками. Каждое приложение имеет веб-службу, которая предоставляет соответствующие данные журнала (данные аудита, данные безопасности, данные, связанные с расчетами затрат, данные о производительности и т. д.), консолидированные для приложения.

Моя задача — передать данные из каждой системы в настройки Elasticsearch, Kibana и Logstash, чтобы я мог создавать бизнес-отчеты или просто просматривать данные так, как мне хочется.

Предположим, у меня есть сервер приложений JBoss для интеграции с этими службами «выставления журнала». Как лучше всего передать данные Elasticssearch? Какой-то плагин Logstash, который вызывает каждую службу? JBoss использует плагин Logstash? Или каким-то другим способом?


person Lars Nielsen    schedule 19.03.2014    source источник


Ответы (2)


Лучший способ — настроить отправитель logstash на сервере, где создаются журналы.

Затем они будут отправлены на сервер Redis.

Затем другой экземпляр logstash будет извлекать данные из Redis, индексировать их и отправлять в Elasticsearch.

Затем Kibana предоставит интерфейс для Elasticsearch, и именно здесь и происходит добро.

Недавно я написал пост о том, как установить Logstash. С тех пор версии могли быть обновлены, но они все еще действительны.

http://www.nightbluefruit.com/blog/2013/09/how-to-install-and-setup-logstash/

person Garreth McDaid    schedule 20.03.2014

Ваш сервер приложений JBoss записывает журналы в файл?

По моему опыту, приложение My JBoss (на нескольких серверах) записывает журналы в файл. Затем я использую logstash для чтения файла журналов и отправки всех журналов на центральный сервер. Вы можете обратиться к здесь.

Итак, что вы можете сделать, так это настроить грузоотправителя logstash в другом центре обработки данных. Если у вас нет разрешения на это, возможно, вы хотите написать программу для получения журналов из разных веб-служб и сохранения их в файл. Затем настройте logstash для чтения файла журналов. Пока у logstash нет плагина, который может вызывать веб-сервисы.

person Ben Lim    schedule 20.03.2014