Я знаю, что Airflow называется менеджером рабочих процессов, менеджером потоков данных nifi, но что это означает? Лучшим объяснением до сих пор было то, что nifi заботится о данных, а airflow заботится о задачах, но я не совсем понимаю это определение, и я не смог найти никакого другого хорошего объяснения/статьи/видео, объясняющего, как интегрировать эти системы, если это хорошая идея или лучше использовать каждый по отдельности.
Также я думал, что лучше StreamSets или NiFi, я думаю, что потоковые наборы лучше выглядят в пользовательском интерфейсе и отслеживают данные, но я слышал, что это зависит от случая, что nifi лучше, если я только принимаю данные, но опять же я не могу найти много информации по этому вопросу.