контрольная точка искры: ошибка java.io.FileNotFoundException

У меня есть текущий конвейер, в котором я выполняю несколько преобразований своего фрейма данных.

Важно вставлять контрольные точки, чтобы гарантировать приемлемое время выполнения.

Однако время от времени я получаю эту ошибку на любой из контрольных точек:

Job aborted due to stage failure: Task creation failed: java.io.FileNotFoundException

No such file or directory: /checkpoints/...../rdd-1002/part-00003

Не могли бы вы предложить.


apache-spark apache-spark-sql spark-checkpoint
person drlol    schedule 13.03.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Это похоже на эту проблему? Сложная логика перезаписывает RDD, пока сбойный процесс пытается восстановиться.

Spark не может найти данные с контрольными точками в HDFS после сбоя исполнителя

person Wei Chen    schedule 13.03.2020
comment
да, но приведенное там решение не работает, а также это не принятый ответ - person drlol; 15.03.2020
comment
Возможно, вам придется сначала проверить данные, чтобы увидеть, что вызывает ошибку. Один из возможных способов решить эту проблему - иметь хорошие try, catch или Try, чтобы ошибка обрабатывалась в логике, чтобы предотвратить ошибку блока кода, поскольку вы просто используете контрольную точку для управления временем. - person Wei Chen; 16.03.2020