Есть ли способ предотвратить dask / distribution от отмены очереди и выполнения фьючерсов при закрытии клиента?
Я хочу использовать блокнот jupyter, чтобы запустить несколько очень длительных симуляций с распределенным, закрыть блокнот и когда-нибудь позже получить результаты.
Вы можете использовать механизм «публикации», чтобы хранить ссылки на некоторые данные в планировщике для последующего извлечения в другом клиенте. Существуют две формы, которые делают одно и то же с разным синтаксисом:
>>> client.publish_dataset(mydata=f)
Здесь f - будущее, список фьючерсов или набор dask (фрейм данных и т. Д.).
В другом сеансе:
>>> client.list_datasets()
['mydata']
>>> client.get_dataset('mydata')
<same thing as f>
Альтернативный и, возможно, более простой синтаксис выглядит как
>>> client.datasets['mydata'] = f
>>> list(client.datasets)
['mydata']
>>> client.datasets['mydata']
<same thing as f>
Чтобы удалить ссылки и разрешить очистку данных из кластера (если они не нужны клиенту), используйте client.unpublish_dataset('mydata') или del client.datasets['mydata'].
