Я загружаю исходный файл, создаю его и транслирую для обработки построчно, чтобы окончательно погрузиться в HDFS. Для этого я использую Spring Cloud Dataflow + Kafka.
Вопрос: есть ли способ узнать, когда весь файл был загружен в HDFS, чтобы вызвать событие?
есть ли способ узнать, когда весь файл был загружен в HDFS, чтобы вызвать событие?
Этот тип сценария использования обычно относится к задачам / пакетам, а не к потоковому конвейеру. Если вы создаете приложение filehdfs task (batch-job), у вас может быть поток, который будет прослушивать различные события-задачи, чтобы принимать дальнейшие решения или обработку данных.
См. "Подписка на события задачи / пакета "из справочного руководства для получения дополнительных сведений.
