Airflow должен интегрироваться с NiFi/StreamSets?

Я знаю, что Airflow называется менеджером рабочих процессов, менеджером потоков данных nifi, но что это означает? Лучшим объяснением до сих пор было то, что nifi заботится о данных, а airflow заботится о задачах, но я не совсем понимаю это определение, и я не смог найти никакого другого хорошего объяснения/статьи/видео, объясняющего, как интегрировать эти системы, если это хорошая идея или лучше использовать каждый по отдельности.

Также я думал, что лучше StreamSets или NiFi, я думаю, что потоковые наборы лучше выглядят в пользовательском интерфейсе и отслеживают данные, но я слышал, что это зависит от случая, что nifi лучше, если я только принимаю данные, но опять же я не могу найти много информации по этому вопросу.


person set92    schedule 12.05.2019    source источник
comment
Этот вопрос не для stackoverflow. Это слишком широко и зависит от личного мнения. Просто обратите внимание, что потоковые наборы не являются открытым исходным кодом: streamsets.com/subscriptions И airflow и nifi для разных видов работы.   -  person daggett    schedule 13.05.2019
comment
StreamSets — это открытый исходный код под лицензией Apache 2.0: streamsets.com/opensource и github.com/streamsets/datacollector/blob/master/LICENSE.txt   -  person metadaddy    schedule 14.05.2019
comment
Ответ на ваш второй вопрос был дан на странице stackoverflow.com /вопросы/36899612/   -  person metadaddy    schedule 14.05.2019


Ответы (1)


Как вы сказали, Airflow — это менеджер рабочих процессов. Это означает, что он только говорит другим программам запускаться. Он не обрабатывает данные, но говорит другим запустить.

NiFi и StreamSet, с другой стороны, обрабатывают данные, преобразовывают их, получают и отправляют. Вот почему они являются менеджерами потоков данных.

person Ben Yaakobi    schedule 13.05.2019