Вопросы по теме 'checkpointing'

модель контрольной точки глубокого обучения H2O
Близкие, У меня возникла проблема при попытке возобновить глубокое обучение H2O в R из модели с контрольной точкой с предоставленной рамкой проверки . В нем говорится: «Набор данных проверки должен быть таким же, как для модели с контрольными...
577 просмотров
schedule 22.09.2022

Автоматический простой HTML DOM с Check Point
Добрый вечер, Я хотел задать вопрос, который я не уверен, что это можно сделать. У меня есть программа очистки, созданная с помощью Simple HTML DOM. Программа извлекает данные с различных веб-сайтов. Итак, мой вопрос: Можно ли...
43 просмотров

Нужны ли контрольные точки в искровом потоке?
Я заметил, что в примерах потоковой передачи искры также есть код для контрольных точек. Мой вопрос в том, насколько важен этот контрольно-пропускной пункт. Если это связано с отказоустойчивостью, как часто возникают сбои в таких потоковых...
1280 просмотров
schedule 03.10.2022

Нулевой указатель сеанса Spark с контрольной точкой
Я включил контрольную точку, которая сохраняет журналы на S3. Если в каталоге контрольной точки НЕТ файлов, потоковая передача искры работает нормально, и я вижу файлы журналов, появляющиеся в каталоге контрольной точки. Затем я убиваю поток искры и...
2424 просмотров

Где в Apache Flink хранятся контрольные точки по умолчанию?
Я новичок в Apache Flink, и я просматривал примеры Apache Flink. Я обнаружил, что в случае сбоя Flink имеет возможность восстановить потоковую обработку с контрольной точки. StreamExecutionEnvironment env =...
1253 просмотров

RuntimeError: ошибка времени выполнения cuda (35): версии драйвера CUDA недостаточно для версии среды выполнения CUDA в torch / csrc / cuda / Module.cpp: 51
Когда я пытаюсь загрузить контрольную точку pytorch: checkpoint = torch.load(pathname) Я понимаю: RuntimeError: ошибка времени выполнения cuda (35): версии драйвера CUDA недостаточно для версии среды выполнения CUDA в torch / csrc /...
2832 просмотров
schedule 24.06.2023

Структурированная потоковая передача Spark: ошибка чтения дельта-файла с расположением контрольной точки hdfs
Я хочу запустить задание Spark Structured Streaming локально на одном компьютере. К сожалению, восстановление после прерванного задания не работает, если задание было прервано во время обработки данных (происходит сбой с журналом, показанным ниже)....
552 просмотров

Есть ли способ гарантировать, что все CheckpointListeners уведомлены о завершении контрольной точки на Flink при отмене задания с помощью точки сохранения?
Я использую flink 1.9 и REST API /jobs/:jobid/savepoints для запуска точки сохранения и отмены задания (корректно остановите задание для последующего запуска из точки сохранения). Я использую двухфазную фиксацию в исходной функции, поэтому мой...
201 просмотров