Я злоупотребляю dask как планировщиком задач для длительных задач с map (, pure = False). Поэтому меня не интересует граф dask, я просто использую dark как способ распространения команд unix.
Допустим, у вас есть 1000 задач, и они работают в течение недели в кластере из 30 рабочих. Я заметил, что если рабочий выходит из строя, его задачи перераспределяются между оставшимися работниками.
Иногда я могу освободить ресурсы из других симуляций и добавить новых рабочих в кластер рабочего стола. Однако этим рабочим тогда назначено 0 задач, и они простаивают. Они получают новые задачи только в том случае, если один из старых рабочих выходит из строя, тогда задачи перераспределяются.
Итак, мой вопрос: «Могу ли я вручную перераспределить и перетасовать задачи в кластере dask»?
