Kafka-Connect против Filebeat и Logstash

Я хочу использовать Kafka и сохранять данные в Hadoop и Elasticsearch. В настоящее время я видел 2 способа сделать это: использовать Filebeat для использования из Kafka и отправить его в ES и использовать структуру Kafka-Connect. Есть модуль Kafka-Connect-HDFS и Kafka-Connect-Elasticsearch.

Я не уверен, какой из них использовать для отправки потоковых данных. Хотя я думаю, что если я захочу в какой-то момент взять данные из Kafka и поместить их в Cassandra, я могу использовать для этого модуль Kafka-Connect, но для Filebeat такой функции нет.


filebeat apache-kafka-connect
person Adrian    schedule 12.09.2016    source источник
comment
Я не понимаю, зачем здесь используется Filebeat. Он читает файлы, а не TCP-сообщения от Kafka. Вам не нужны биты, просто Logstash   -  person OneCricketeer    schedule 09.09.2017

Ответы (1)


arrow_upward
8
arrow_downward

Kafka Connect может обрабатывать потоковые данные и немного более гибок. Если вы просто собираетесь использовать эластичность, Filebeat - это чистая интеграция для источников журналов. Однако, если вы переходите от Kafka к нескольким различным приемникам, вероятно, вам понадобится Kafka Connect. Я бы рекомендовал проверить концентратор коннекторов, чтобы увидеть несколько примеров коннекторов с открытым исходным кодом, имеющихся в вашем распоряжении в настоящее время http://www.confluent.io/product/connectors/

person dawsaw    schedule 12.09.2016
comment
Дело в том, что я согласен с вами, но у меня нет никаких доказательств того, почему один способ лучше другого. Не могли бы вы немного расширить свой ответ? - person Adrian; 13.09.2016
comment
Полное раскрытие, я подхожу к этому с точки зрения кафки. Я думаю, что Kafka Connect в целом более гибкий и гибкий для работы с данными Kafka, поступающими в другое хранилище данных или из него. Filebeat специализируется на перемещении данных в эластичный формат, поэтому изначально он не является универсальным. - person dawsaw; 14.09.2016
comment
есть ли информация о производительности между этими вариантами? - person imehl; 27.10.2016
comment
Logstash - это гибкий компонент вывода эластичного стека. elastic.co/guide/en/logstash/current/output- plugins.html - person OneCricketeer; 09.09.2017
comment
@dawsaw, на который вы отвечаете, подходит, поскольку filebeat предназначен только для доставки источников журналов. В случае файлов журнала Kafka (сервер *, изменение состояния * и т. Д.) Filebeat использует модуль Kafka. - person Abdurrahman Adebiyi; 19.01.2018