Я пытаюсь развернуть адаптивный кластер dask kubernetes на моем экземпляре aws K8s (я хочу использовать найденный интерфейс kubeControl здесь). Мне неясно, где и как я выполняю этот код, чтобы он был активен в моем существующем кластере. В дополнение к этому, я хочу иметь правило входа, чтобы другой экземпляр ec2, который у меня есть, мог подключаться к кластеру и выполнять код в aws VPC для поддержания безопасности и производительности сети.
Пока мне удалось получить работающий кластер k8s с запущенными на нем dask и jupyterhub. Я использую образец диаграммы штурвала, найденный здесь, который ссылается на образ докера. здесь. Я вижу, что этот образ даже не устанавливает dask-kubernetes. С учетом вышесказанного я могу подключиться к этому кластеру из другого моего экземпляра ec2, используя открытый DNS-сервер AWS, и выполнить собственный код, но это не собственный кластер dask kubernetes.
Я работал над изменением развернутого yaml для кубернетов, но мне неясно, что мне нужно было бы изменить, чтобы он использовал правильные кластеры / планировщики кубернетов. Я знаю, что мне нужно изменить образ докера, который я использую для установки dask-kubernetes, но это мне все равно не помогает. Ниже приведен образец диаграммы развертывания штурвала, который я использую.
---
# nameOverride: dask
# fullnameOverride: dask
scheduler:
name: scheduler
image:
repository: "daskdev/dask"
tag: 2.3.0
pullPolicy: IfNotPresent
# See https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/
pullSecrets:
# - name: regcred
replicas: 1
# serviceType: "ClusterIP"
# serviceType: "NodePort"
serviceType: "LoadBalancer"
servicePort: 8786
resources: {}
# limits:
# cpu: 1.8
# memory: 6G
# requests:
# cpu: 1.8
# memory: 6G
tolerations: []
nodeSelector: {}
affinity: {}
webUI:
name: webui
servicePort: 80
worker:
name: worker
image:
repository: "daskdev/dask"
tag: 2.3.0
pullPolicy: IfNotPresent
# dask_worker: "dask-cuda-worker"
dask_worker: "dask-worker"
pullSecrets:
# - name: regcred
replicas: 3
aptPackages: >-
default_resources: # overwritten by resource limits if they exist
cpu: 1
memory: "4GiB"
env:
# - name: EXTRA_CONDA_PACKAGES
# value: numba xarray -c conda-forge
# - name: EXTRA_PIP_PACKAGES
# value: s3fs dask-ml --upgrade
resources: {}
# limits:
# cpu: 1
# memory: 3G
# nvidia.com/gpu: 1
# requests:
# cpu: 1
# memory: 3G
# nvidia.com/gpu: 1
tolerations: []
nodeSelector: {}
affinity: {}
jupyter:
name: jupyter
enabled: true
image:
repository: "daskdev/dask-notebook"
tag: 2.3.0
pullPolicy: IfNotPresent
pullSecrets:
# - name: regcred
replicas: 1
# serviceType: "ClusterIP"
# serviceType: "NodePort"
serviceType: "LoadBalancer"
servicePort: 80
# This hash corresponds to the password 'dask'
password: 'sha1:aae8550c0a44:9507d45e087d5ee481a5ce9f4f16f37a0867318c'
env:
# - name: EXTRA_CONDA_PACKAGES
# value: "numba xarray -c conda-forge"
# - name: EXTRA_PIP_PACKAGES
# value: "s3fs dask-ml --upgrade"
resources: {}
# limits:
# cpu: 2
# memory: 6G
# requests:
# cpu: 2
# memory: 6G
tolerations: []
nodeSelector: {}
affinity: {}