Я пытаюсь понять содержимое контрольной точки и соответствующего восстановления; понимание процесса создания контрольных точек, очевидно, является естественным способом, поэтому я просмотрел следующий список: сообщение в среднем ТАК...

У меня есть вариант использования, когда я передаю данные из Mongodb в HDFS в файле orc, который запускается каждые 1 день и добавляет данные в файл orc, существующий в hdfs. Теперь меня беспокоит, если при записи в файл orc задание каким-то...

У меня есть текущий конвейер, в котором я выполняю несколько преобразований своего фрейма данных. Важно вставлять контрольные точки, чтобы гарантировать приемлемое время выполнения. Однако время от времени я получаю эту ошибку на любой из...

Я использую структурированную потоковую передачу искры, чтобы получать данные из темы кафки и записывать данные в другой приемник кафки. Я хочу сохранить смещение дважды - один раз при чтении из темы и пошевелить смещение. Во-вторых, при записи...

Меня интересует приложение Spark Streaming (Spark v2.3.2), которое получает данные паркета S3 и записывает данные паркета в S3. Поток фреймов данных приложения использует groupByKey() и flatMapGroupsWithState() для использования GroupState ....