Вопросы по теме 'condor'
Condor, Sun Grid Engine или что-то еще?
Я пытаюсь решить, следует ли нам попробовать Condor или Sun Grid Engine на работе (или, возможно, что-то еще).
У нас часто есть много неиспользуемых рабочих станций WinXp. Есть надежда, что мы сможем использовать wake-on-LAN, запускать все наши...
3844 просмотров
schedule
21.09.2023
Задание Condor, использующее DAG, при этом для некоторых заданий требуется запуск одного и того же хоста
У меня есть вычислительная задача, которая разделена на несколько отдельных программ с зависимостями. Я использую Condor 7 в качестве планировщика задач (с Vanilla Universe из-за ограничений на программы вне моей досягаемости, поэтому контрольные...
994 просмотров
schedule
17.05.2022
Файл Condor DAG - многодетные родители. Законно ли указывать родителей ребенка в нескольких строках вместо одной?
Вот простое дерево того, что у меня есть:
A B
\ /
C
A и B являются родительскими процессами, а C может выполняться только после завершения A и B. Обычно файл DAG выглядит так:
JOB A a.condor
JOB B b.condor
JOB C...
272 просмотров
schedule
07.07.2022
Песочница R для Condor (в Linux)
В моем университете работает вычислительная сеть кондора (вычислительные узлы работают под управлением Linux), и я хотел бы использовать ее для запуска симуляций в R. Проблема в том, что только на некоторых машинах в сети установлена R. Пока я вижу...
405 просмотров
schedule
19.01.2023
Использовать вывод оболочки для обработки ошибок для кондора
Мне нужно отправить несколько симуляций в condor (мультиклиентскую сетку выполнения) с помощью оболочки, и, поскольку это может занять некоторое время, я решил написать сценарий оболочки, чтобы сделать это за меня. Я очень новичок в написании...
188 просмотров
schedule
26.04.2022
Лучший способ распределения одного процесса по кластеру
Я новичок в кластерных вычислениях и хотел узнать больше о различном программном обеспечении, используемом для кластерных вычислений, и о том, какое из них лучше всего подходит для конкретных задач. В частности, проблема, которую я пытаюсь решить,...
321 просмотров
schedule
05.05.2023
Как заставить кондора отправить задание на все узлы в кластере?
У меня есть кластер кондора с несколькими активными узлами.
Но когда я отправляю задание, оно выполняется только на одном узле (то есть на главном узле). Я знаю, что Кондор автоматически распределяет задания в зависимости от доступных ресурсов....
1143 просмотров
schedule
23.11.2023
Выходные файлы HTCondor: получить созданный каталог
Я использую HTcondor для генерации некоторых данных (txt, png). Запустив мою программу, она создает каталог рядом с файлом .sub с именем наборы данных, в котором хранятся наборы данных. К сожалению, condor не возвращает мне эти созданные данные...
632 просмотров
schedule
20.04.2023
как запустить программу python на Condor?
Я новичок в Condor и пытаюсь запустить свою программу на Python в Condor, но мне трудно это сделать. Все учебники, которые я нашел, предполагают программу Python с одним файлом, но моя программа Python состоит из нескольких пакетов и файлов, а также...
2559 просмотров
schedule
01.08.2023
Можно ли запустить интерактивный сеанс REPL (R, python и т. д.) в системе кондора?
Я хочу запросить, скажем, 32 процессора в кластере кондор. Обычно я могу отправить задание, говорящее о запуске программы, например, с помощью:
my_R_script.sh :
Rscript my_R_program.R
my_condor_job :
Universe = vanilla
getenv...
113 просмотров
schedule
03.01.2023
Задания навсегда застряли в очереди (Кондор - Параллельная Вселенная)
Недавно я пытался настроить HTcondor. Мне удалось отправить серийные (Vanilla Universe) задания без ошибок или проблем. Но когда я пытаюсь отправить параллельные (Parallel Universe) задания, кажется, что задания застревают в очереди навсегда....
296 просмотров
schedule
26.01.2024
Получение выходных файлов в HTCondor по мере их создания
Я использую HTCondor для запуска задания, которое занимает много времени (десятки часов) и периодически создает файлы (десятки минут). Я хочу, чтобы HTCondor перенес файлы в мой каталог отправки, как только файлы будут созданы. Как я могу это...
134 просмотров
schedule
19.08.2022
Выполняйте задания condor, только если используется меньше порогового значения RAM.
У меня есть исполняющий хост со 132 слотами, и condor с радостью выполнит на нем 132 задания. Но в зависимости от заданий эти 132 могут использовать всю оперативную память и вызывать подкачку и, в конечном итоге, мусор. Как я могу установить...
122 просмотров
schedule
16.11.2022
Dask с планировщиком HTCondor
Задний план
У меня есть конвейер анализа изображений с распараллеливанием шагов. Конвейер находится в python , а распараллеливание контролируется dask.distributed . Минимальная настройка обработки состоит из 1 планировщика + 3 рабочих по 15...
443 просмотров
schedule
30.05.2023
Проблема HTCondor с вводом и выводом File.sub
Я новичок в Condor и хочу задать один вопрос: я хочу отправить задание, используя этот .sub файл:
executable = Train.cxx
transfer_input_files = TMVA/Factory.h,TMVA/TMVAGui.h,TMVA/Tools.h
output = TMVA-top.root...
23 просмотров
schedule
18.03.2024
Как запустить сборщик кондоров?
Я установил HTcondor в своем кластере Dell Optiplex 390, все они работают под управлением Centos 8, и я не могу запустить condor_status. Я получаю следующую ошибку --> Ошибка: не могу найти сборщик
Я новичок в использовании кондора, и все, что я...
197 просмотров
schedule
04.12.2022
Как помочь кондору найти файл, который он должен выполнить в задании?
Я пытаюсь выполнить задание, но кондор не может найти мой файл.
Я убедился, что:
файл есть, выполнив ls и cat по его абсолютному пути
запустить его из интерактивного сеанса кондора
дайте ему правильные разрешения, чтобы он запускал его....
211 просмотров
schedule
23.02.2023
Как отправить задание, запрашивающее конкретный графический процессор в кондоре, без файла отправки?
Я хочу сделать:
condor_submit -i request_cpus=8 request_gpus=1 -requirements="(CUDADeviceName!='Tesla K40m')"
но из-за пробелов и запятых я не могу этого сделать. Я также пробовал:
condor_submit -i request_cpus=2 request_gpus=1...
25 просмотров
schedule
05.09.2023
Как получить идентификатор задания интерактивного задания из переменной среды при использовании кондора?
Обычно я получаю идентификатор работы с:
MY_CONDOR_JOB_ID
но я не вижу, чтобы он был установлен, если это интерактивная работа. Есть ли способ установить это? Когда мне дают ресурсы, я вижу, что для моей работы есть идентификатор работы....
26 просмотров
schedule
10.04.2023
