Получить http: // ‹master-ip›: ‹nodeport› / metrics: крайний срок контекста превышен

Я сделал кластер Kubernetes с двумя виртуальными машинами Ubuntu Azure и попытался контролировать кластер. Для этого я развернул daemonSet экспортера узлов, heapster, Prometheus и grafana. Настроил узел-экспортер как цель в файлах правил Prometheus. но я получаю Get http://master-ip:30002/metrics: context deadline exceeded ошибку. Я также увеличил значения scrape_interval и scrape_timeout в файле правил Prometheus.

Ниже приведены файлы манифеста для файла правил Prometheus, daemonSet и служебных файлов узла-экспортера.

apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app: node-exporter
  name: node-exporter
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: node-exporter
  template:
    metadata:
      labels:
        app: node-exporter
    spec:
      containers:
      - args:
        - --web.listen-address=<master-IP>:30002
        - --path.procfs=/host/proc
        - --path.sysfs=/host/sys
        - --path.rootfs=/host/root
        - --collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/docker/.+)($|/)
        - --collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$
        image: quay.io/prometheus/node-exporter:v0.18.1
        name: node-exporter
        resources:
          limits:
            cpu: 250m
            memory: 180Mi
          requests:
            cpu: 102m
            memory: 180Mi
        volumeMounts:
        - mountPath: /host/proc
          name: proc
          readOnly: false
        - mountPath: /host/sys
          name: sys
          readOnly: false
        - mountPath: /host/root
          mountPropagation: HostToContainer
          name: root
          readOnly: true
      - args:
        - --logtostderr
        - --secure-listen-address=[$(IP)]:9100
        - --tls-cipher-suites=TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_RSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256
        - --upstream=http://<master-IP>:30002/
        env:
        - name: IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        image: quay.io/coreos/kube-rbac-proxy:v0.4.1
        name: kube-rbac-proxy
        ports:
        - containerPort: 9100
          hostPort: 9100
          name: https
        resources:
          limits:
            cpu: 20m
            memory: 40Mi
          requests:
            cpu: 10m
            memory: 20Mi
      hostNetwork: true
      hostPID: true
      nodeSelector:
        kubernetes.io/os: linux
      securityContext:
        runAsNonRoot: true
        runAsUser: 65534
      serviceAccountName: node-exporter
      tolerations:
      - operator: Exists
      volumes:
      - hostPath:
          path: /proc
        name: proc
      - hostPath:
          path: /sys
        name: sys
      - hostPath:
          path: /
        name: root
---
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s-app: node-exporter
  name: node-exporter
  namespace: kube-system
spec:
  type: NodePort
  ports:
  - name: https
    port: 9100
    targetPort: https
    nodePort: 30002
  selector:
    app: node-exporter
    
---prometheus-config-map.yaml-----
 
apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-server-conf
  labels:
    name: prometheus-server-conf
  namespace: default
data:
  prometheus.yml: |-
    global:
      scrape_interval: 5m
      evaluation_interval: 3m

    scrape_configs:
      - job_name: 'node'
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        static_configs:
        - targets: ['<master-IP>:30002']
      - job_name: 'kubernetes-apiservers'
        kubernetes_sd_configs:
        - role: endpoints
        scheme: https
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        relabel_configs:
        - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
          action: keep
          regex: default;kubernetes;https     

Можем ли мы воспользоваться услугами NodePort для Node-exporter daemonSet? Если ответ НЕТ, как мы можем настроить файл prometheus-rules в качестве цели? Может ли кто-нибудь помочь мне понять сценарий? Могут ли быть какие-либо подсказываемые ссылки?


person gayathri    schedule 17.01.2020    source источник
comment
Любая ошибка в журналах Daemonset?   -  person Arghya Sadhu    schedule 18.01.2020
comment
Привет @ Аргья Садху. Я проверил логи демона узла-экспортера. На самом деле мой демонсет состоит из двух контейнеров. первый контейнер (узел-экспортер), отображающий журналы как Listening on localhost:9100" source="node_exporter.go:170" . второй контейнер показывает журнал как Listening securely on [10.0.0.4]:9100 . Итак, как мне настроить демон-набор узла-экспортера в файле правил Prometheus?   -  person gayathri    schedule 20.01.2020
comment
в настоящее время на странице целей Prometheus появляется следующая ошибка: `Get localhost: 9100 / metrics: наберите tcp 127.0.0.1:9100: подключение: в соединении отказано `   -  person gayathri    schedule 20.01.2020
comment
Здравствуйте, @ gayathri, я обнаружил проблему более старой версии github с той же проблемой, что и у вас, можете ли вы Подтвердите, что то же самое происходит и с вами? Можно curl http://10.0.0.107:9100/metrics, но при попытке дозвониться от Прометея возникает ошибка? Не могли бы вы попробовать использовать решение из там и дайте мне знать, поможет ли это ?   -  person Jakub    schedule 21.01.2020
comment
Спасибо @ jt97. у меня это сработало.   -  person gayathri    schedule 21.01.2020


Ответы (1)


Как @gayahtri подтвердил в комментариях

у меня это сработало. - гаятри

Если у вас возникла проблема, указанная в теме, ознакомьтесь с проблемой github

конкретно этот ответ, добавленный @simonpasquier

Мы отладили его в автономном режиме, и проблема была в сети. Запуск контейнера Prometheus с параметром «--network = host» решил проблему.

person Jakub    schedule 21.01.2020