Kibana, Logstash для работы с большими данными

Можем ли мы использовать Logstash и Kibana для анализа больших данных?

Я буду использовать Hadoop для хранения своих данных. Прежде чем что-либо пробовать, я хочу знать, пробовал ли кто-нибудь это уже.


hadoop logstash kibana bigdata elasticsearch
person Jain Rach    schedule 12.12.2013    source источник

Ответы (3)


arrow_upward
0
arrow_downward

На самом деле я использовал HDFS + ElasticSearch + Kibana + Logstash для работы с Hive. Это работает довольно хорошо. Хотя, если вы пытаетесь загрузить данные из ElasticSearch в Hive без правильного объявления типов данных, вы можете получить значения NULL для своих данных.

--- Hive Coonection ---
Убедитесь, что файлы es-hadoop-hive-2.0.2.jar и es-hadoop-2.0.2.jar расположены в вашем каталоге Hive.

Следуйте документации на веб-сайте ElasticSearch для получения более подробной информации.

person Elesin Olalekan Fuad    schedule 11.03.2015

arrow_upward
0
arrow_downward

Насколько велики ваши данные?

На данный момент я использую Logstash + ElasticSearch + Kibana для анализа более 50 ГБ данных журнала.

Elasticsearch также имеет интеграцию с Hadoop.
Перейдите по этой ссылке: http://www.elasticsearch.org/overview/hadoop/

person Ben Lim    schedule 13.12.2013
comment
За неделю на моем сервере скопится около 100-125 Гб данных, хочу проанализировать столько же. Я прошел по ссылке, которой вы поделились, это прекрасно. Мне нужны дополнительные сведения о вашей настройке, такие как производительность системы для вашей настройки, а также конфигурация вашей системы. Испытываете ли вы какие-либо задержки при установке различных фильтров в Kibana. - person Jain Rach; 13.12.2013

arrow_upward
0
arrow_downward

125 ГБ (предположительно) 1000 документов в неделю — это около 200/сек, что не представляет проблемы для любой конфигурации logstash/elasticsearch для индексации.

Найди себе 6 машин:

  • три узла данных elasticsearch с 64 ГБ ОЗУ каждый.
  • три машины, на которых работают главные узлы elasticsearch (с гораздо меньшими требованиями к оперативной памяти). Это также могут быть клиентские узлы (используемые для индексации и поисковых запросов), и они могут запускать logstash и kibana, если вы их немного усилили.
person Alain Collins    schedule 31.12.2015