Я новичок в потоковой передаче искр, и у меня есть общий вопрос, связанный с ее использованием. В настоящее время я реализую приложение, которое передает данные из темы Kafka.
Является ли распространенным сценарием использование приложения для запуска пакета только один раз, например, в конце дня, сбора всех данных из темы, выполнения некоторой агрегации и преобразования и т. Д.?
Это означает, что после запуска приложения с помощью spark-submit все это будет выполняться одним пакетом, а затем приложение будет закрыто. Или создается искровой поток для непрерывного и непрерывного потокового воспроизведения данных непрерывными пакетами?
