Microk8s + MetallB + вход

Я новичок в kubernetes, и я пытаюсь настроить тестовую среду microk8s на VPS с CentOS.

Что я сделал:

Настроил кластер, включил ингресс и металлб

microk8s enable ingress
microk8s enable metallb

Выставил сервис ingress-контроллера:

apiVersion: v1
kind: Service
metadata:
  name: ingress
  namespace: ingress
spec:
  type: LoadBalancer
  selector:
    name: nginx-ingress-microk8s 
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
  - name: https
    protocol: TCP
    port: 443
    targetPort: 443

Открыл развертывание nginx для проверки входа

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: nginx
  name: nginx-deploy
spec:
  replicas: 1
  selector:
    matchLabels:
      run: nginx-deploy
  template:
    metadata:
      labels:
        run: nginx-deploy
    spec:
      containers:
      - image: nginx
        name: nginx

Это статус моего кластера:

NAMESPACE            NAME                                             READY   STATUS    RESTARTS   AGE
kube-system          pod/hostpath-provisioner-5c65fbdb4f-m2xq6        1/1     Running   3          41h
kube-system          pod/coredns-86f78bb79c-7p8bs                     1/1     Running   3          41h
kube-system          pod/calico-node-g4ws4                            1/1     Running   6          42h
kube-system          pod/calico-kube-controllers-847c8c99d-xhmd7      1/1     Running   4          42h
kube-system          pod/metrics-server-8bbfb4bdb-ggvk7               1/1     Running   0          41h
kube-system          pod/kubernetes-dashboard-7ffd448895-ktv8j        1/1     Running   0          41h
kube-system          pod/dashboard-metrics-scraper-6c4568dc68-l4xmg   1/1     Running   0          41h
container-registry   pod/registry-9b57d9df8-xjh8d                     1/1     Running   0          38h
cert-manager         pod/cert-manager-cainjector-5c6cb79446-vv5j2     1/1     Running   0          12h
cert-manager         pod/cert-manager-794657589-srrmr                 1/1     Running   0          12h
cert-manager         pod/cert-manager-webhook-574c9758c9-9dwr6        1/1     Running   0          12h
metallb-system       pod/speaker-9gjng                                1/1     Running   0          97m
metallb-system       pod/controller-559b68bfd8-trk5z                  1/1     Running   0          97m
ingress              pod/nginx-ingress-microk8s-controller-f6cdb      1/1     Running   0          65m
default              pod/nginx-deploy-5797b88878-vgp7x                1/1     Running   0          20m

NAMESPACE            NAME                                TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
default              service/kubernetes                  ClusterIP      10.152.183.1     <none>         443/TCP                      42h
kube-system          service/kube-dns                    ClusterIP      10.152.183.10    <none>         53/UDP,53/TCP,9153/TCP       41h
kube-system          service/metrics-server              ClusterIP      10.152.183.243   <none>         443/TCP                      41h
kube-system          service/kubernetes-dashboard        ClusterIP      10.152.183.225   <none>         443/TCP                      41h
kube-system          service/dashboard-metrics-scraper   ClusterIP      10.152.183.109   <none>         8000/TCP                     41h
container-registry   service/registry                    NodePort       10.152.183.44    <none>         5000:32000/TCP               38h
cert-manager         service/cert-manager                ClusterIP      10.152.183.183   <none>         9402/TCP                     12h
cert-manager         service/cert-manager-webhook        ClusterIP      10.152.183.99    <none>         443/TCP                      12h
echoserver           service/echoserver                  ClusterIP      10.152.183.110   <none>         80/TCP                       72m
ingress              service/ingress                     LoadBalancer   10.152.183.4     192.168.0.11   80:32617/TCP,443:31867/TCP   64m
default              service/nginx-deploy                ClusterIP      10.152.183.149   <none>         80/TCP                       19m

NAMESPACE        NAME                                               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                 AGE
kube-system      daemonset.apps/calico-node                         1         1         1       1            1           kubernetes.io/os=linux        42h
metallb-system   daemonset.apps/speaker                             1         1         1       1            1           beta.kubernetes.io/os=linux   97m
ingress          daemonset.apps/nginx-ingress-microk8s-controller   1         1         1       1            1           <none>                        65m

NAMESPACE            NAME                                        READY   UP-TO-DATE   AVAILABLE   AGE
kube-system          deployment.apps/hostpath-provisioner        1/1     1            1           41h
kube-system          deployment.apps/coredns                     1/1     1            1           41h
kube-system          deployment.apps/calico-kube-controllers     1/1     1            1           42h
kube-system          deployment.apps/metrics-server              1/1     1            1           41h
kube-system          deployment.apps/dashboard-metrics-scraper   1/1     1            1           41h
kube-system          deployment.apps/kubernetes-dashboard        1/1     1            1           41h
container-registry   deployment.apps/registry                    1/1     1            1           38h
cert-manager         deployment.apps/cert-manager-cainjector     1/1     1            1           12h
cert-manager         deployment.apps/cert-manager                1/1     1            1           12h
cert-manager         deployment.apps/cert-manager-webhook        1/1     1            1           12h
metallb-system       deployment.apps/controller                  1/1     1            1           97m
default              deployment.apps/nginx-deploy                1/1     1            1           20m

NAMESPACE            NAME                                                   DESIRED   CURRENT   READY   AGE
kube-system          replicaset.apps/hostpath-provisioner-5c65fbdb4f        1         1         1       41h
kube-system          replicaset.apps/coredns-86f78bb79c                     1         1         1       41h
kube-system          replicaset.apps/calico-kube-controllers-847c8c99d      1         1         1       42h
kube-system          replicaset.apps/metrics-server-8bbfb4bdb               1         1         1       41h
kube-system          replicaset.apps/kubernetes-dashboard-7ffd448895        1         1         1       41h
kube-system          replicaset.apps/dashboard-metrics-scraper-6c4568dc68   1         1         1       41h
container-registry   replicaset.apps/registry-9b57d9df8                     1         1         1       38h
cert-manager         replicaset.apps/cert-manager-cainjector-5c6cb79446     1         1         1       12h
cert-manager         replicaset.apps/cert-manager-794657589                 1         1         1       12h
cert-manager         replicaset.apps/cert-manager-webhook-574c9758c9        1         1         1       12h
metallb-system       replicaset.apps/controller-559b68bfd8                  1         1         1       97m
default              replicaset.apps/nginx-deploy-5797b88878                1         1         1       20m

Похоже, что Metallb работает, так как входящие сервисы получили ip из указанного мной пула. Теперь, когда я пытаюсь развернуть вход для доступа к развертыванию nginx, я не получаю АДРЕС:

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/rewrite-target: /
  name: ingress-nginx-deploy
spec:
  rules:
  - host: test.com
    http:
      paths:
      - backend:
          serviceName: nginx-deploy
          servicePort: 80

NAMESPACE   NAME                   CLASS    HOSTS                       ADDRESS   PORTS   AGE
default     ingress-nginx-deploy   <none>   test.com                              80      13m

Помощь будет очень признательна. Спасибо!


kubernetes kubernetes-ingress nginx-ingress metallb microk8s
person Green    schedule 19.01.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

TL; DR

Есть несколько способов исправить ваш Ingress, чтобы он получил IP-адрес.

Вы можете либо:

Пример Ingress ресурса, который исправит вашу проблему:

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-nginx-deploy
spec:
  ingressClassName: public 
  # above field is optional as microk8s default ingressclass will be assigned
  rules:
  - host: test.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-deploy
            port:
              number: 80

Вы можете узнать больше о IngressClass, следуя официальной документации:

Я добавил дополнительные объяснения, которые должны пролить дополнительный свет на эту конкретную настройку.

После применения указанного выше Ingress ресурса вывод:

  • $ kubectl get ingress

Будет следующее:

NAME                   CLASS    HOSTS      ADDRESS     PORTS   AGE
ingress-nginx-deploy   public   test.com   127.0.0.1   80      43s

Как видите, ADDRESS содержит 127.0.0.1. Это потому, что этот конкретный Ingress controller, включенный надстройкой, привязывается к вашему хосту (MicroK8S узел) к портам _17 _, _ 18_.

Вы можете увидеть это, запустив:

  • $ sudo microk8s kubectl get daemonset -n ingress nginx-ingress-microk8s-controller -o yaml

Примечание!

Ищите hostPort и securityContext.capabilities.

Созданный вами Service типа LoadBalancer будет работать с вашим Ingress controller, но не будет отображаться под ADDRESS в $ kubectl get ingress.

Примечание!

Помните, что в этой конкретной настройке вам нужно будет подключиться к вашему Ingress controller с Header Host: test.com, если у вас нет разрешения DNS, настроенного для поддержки вашей настройки. В противном случае вы получите 404.

Дополнительный ресурс:

person Dawid Kruk    schedule 19.01.2021
comment
Спасибо, Давид, это было действительно полезно. Честно говоря, я начал без MetalLB, с классом входа = public и входом получил адрес 127.0.0.1, я смог получить доступ к панели мониторинга извне машины по общедоступному IP-адресу машины. Я начал добавлять TLS с помощью letsencrypt, но у меня возникла проблема 404 при выполнении самопроверки на /.well-known. Поскольку я новичок в Kubernetes, я решил попробовать что-то более близкое к производственному, с балансировщиком нагрузки перед ним, надеясь, наконец, заставить TLS работать. Вероятно, проблема TLS даже не в отсутствии балансировщика нагрузки. - person Green; 20.01.2021
comment
Что касается безопасности, у меня есть сервер vpn, и я думал настроить firewalld, чтобы разрешить службы http и https только для определенного IP-адреса vpn. - person Green; 20.01.2021
comment
Можно ли избежать использования заголовка Host? это довольно раздражает :) - person Green; 21.01.2021
comment
@Green Удалите test.com из spec.rules.host (host должен выглядеть так: host: ). - person Dawid Kruk; 21.01.2021
comment
по-прежнему возникают проблемы с интеграцией Ingress, LetsEncrypt и gitlab. Я собираюсь сбросить мой кластер microk8s и перезапустить его с нуля. Но спасибо за подсказки! - person Green; 22.01.2021