Получение выходных файлов в HTCondor по мере их создания

Я использую HTCondor для запуска задания, которое занимает много времени (десятки часов) и периодически создает файлы (десятки минут). Я хочу, чтобы HTCondor перенес файлы в мой каталог отправки, как только файлы будут созданы. Как я могу это сделать?

Есть ли какой-нибудь родной вариант для кондора, позволяющий мне это сделать? Есть ли альтернативный метод?

Я также мог бы попробовать scp или mv файлы по мере их создания, но я не знаю, как вручную перенести файлы из кондора в личное пространство.


person gota    schedule 22.02.2018    source источник


Ответы (1)


Это может сделать команда condor_tail со стороны отправки или команда condor_chirp может сделать это из самого задания.

Например, если вы входите в систему отправки (вероятнее всего, на ту же машину, с которой вы отправили задание) и вас интересует состояние выходных файлов для задания, которое все еще выполняется, вы можете просмотреть последние 1024 байта файла, запустив

$ condor_tail <the_job_id> the_file_name

Чтобы увидеть более 1024 байт, вы можете запустить

$ condor_tail <the_job_id> -maxbytes some_number_more_than_1024 the_file_name

Или, если вы работаете в Linux и ваш системный администратор позволяет вам, вы можете запустить

$ condor_ssh_to_job <the_job_id>

который дает вам оболочку входа в систему на машине, на которой выполняется задание, в рабочем каталоге задания, с такой большей частью среды задания, которую может дать condor.

Наконец, если само задание может запускать команду, скажем, периодически, после каждого выполненного шага, и задание включило remoteio с опцией отправки файла.

+WantRemoteIO = true

работа может работать

$ condor_chirp put local_file_name file_name_on_submit_machine

и имя файла local_file_name из задания будет скопировано на машину отправки в каталог, из которого началось задание.

person Greg    schedule 21.06.2018
comment
Было бы неплохо еще несколько объяснений. - person Geshode; 21.06.2018