Я очень новичок в kubernetes & dask и пытаюсь реализовать некоторый кластер kube и создал кластер minikube с некоторыми службами, в дальнейшем хочу расширить его с помощью гибкой функциональности dask.
Я планирую как-то позже развернуть его в gcloud, поэтому я пытаюсь инициализировать кластер dask (планировщик и рабочие для моего кластера minikube) из модуля с RBAC с помощью скрипта python, но мои попытки не увенчались успехом.
Я пробовал как локальный, так и удаленный режим deploy_mode в KubeCluster только для того, чтобы найти какое-то рабочее решение, но я предполагаю, что оно должно быть удаленным.
После запуска этого скрипта python
pod_spec = make_pod_spec(image='daskdev/dask:latest',
memory_limit='2G', memory_request='2G',
cpu_limit=1, cpu_request=1, threads_per_worker=1,
env={'EXTRA_PIP_PACKAGES': 'git+https://github.com/dask/distributed'})
scheduler = make_pod_spec(image='daskdev/dask:latest',
memory_limit='1G', memory_request='1G',
cpu_limit=1, cpu_request=1, threads_per_worker=1,
env={'EXTRA_PIP_PACKAGES': 'git+https://github.com/dask/distributed'},
)
cluster = KubeCluster(scheduler_pod_template=scheduler, pod_template=pod_spec, n_workers=2,
auth=auth.InCluster())
cluster.adapt(minimum=1, maximum=4)
Я получаю ValueError: missing port number in address '$(DASK_SCHEDULER_ADDRESS)' в журналах модуля планировщика
Полные журналы модуля планировщика
Я пропустил установку некоторых переменных env в спецификациях модуля? Разве не надо ставить автоматически?
Если это будет полезно, когда я устанавливаю режим развертывания как локальный, конструктор клиента вызывает ошибку, в которой говорится, что порт планировщика не установлен или что-то в этом роде. Я пытался установить его вручную, но он продолжает выдавать эту ошибку.
Буду очень признателен за любые советы по реализации этого
