Hi
У меня есть кластер HDF с 3 экземплярами Nifi, которые запускают задания (Hive/Spark) в кластере HDP. Обычно nifi записывает всю информацию в разные репозитории, доступные на локальной машине.
Мой вопрос: записывает ли nifi какие-либо данные, информацию о происхождении или проливает на узлы HDP (например, узлы данных в кластере HDP) при доступе к службам HDFS, Hive или Spark?
Спасибо
Apache NiFi не использует HDFS ни для одного из своих внутренних репозиториев/данных. Единственное взаимодействие между службами NiFi и Hadoop будет осуществляться через специальные процессоры, созданные для взаимодействия с этими службами, такие как PutHDFS, PutHiveQL и т. д.
Данные о происхождении могут быть вытолкнуты из NiFi с помощью SiteToSiteProvenanceReportingTask, а затем сохранены в любом подходящем месте (HDFS, HBase и т. д.).
