Полагается ли Apache Apex на HDFS или у него есть собственная файловая система?

Я понимаю, что Apache Apex работает на Hadoop и YARN. Использует ли он HDFS для сохранения и репликации для защиты от потери данных? или у него своя?


hadoop bigdata apache-apex
person Community    schedule 12.04.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Apache Apex не имеет собственной файловой системы. Потоковые приложения, написанные с помощью Apex, по умолчанию будут использовать HDFS для создания контрольных точек, сохраняемости и сохранения данных приложения.

person PradeepKumbhar    schedule 12.04.2016

arrow_upward
2
arrow_downward

Apache Apex использует контрольные точки состояния оператора для обеспечения отказоустойчивости. Apex использует HDFS для записи этих контрольных точек для восстановления. Однако хранилище для контрольных точек настраивается. В Apex также есть реализация контрольной точки для Apache Geode. Apex также использует HDFS для загрузки артефактов, таких как пакет приложения, содержащий jar-файл приложения, его зависимости и конфигурации и т. д., которые необходимы для запуска приложения.

person ashwin111    schedule 13.04.2016