Сервисы Kubernetes иногда недоступны

У меня установлен кластер kubernetes v1.5.2 с kops и используется weave сетевой плагин. Я заметил, что иногда мои службы kubernetes становятся недоступными из модуля в моем кластере.

Я просмотрел всю статью об услугах по устранению неполадок: https://kubernetes.io/docs/admin/cluster-troubleshooting/ Я могу подтвердить, что все работает, как ожидалось, но иногда это не так (это завиток из модуля кластера, который пытается связаться с сервисом, используя его IP-адрес. Эта служба поддерживается 5 конечные точки, все в рабочем состоянии):

$> curl 100.65.135.200 -vv
* Rebuilt URL to: 100.65.135.200/
*   Trying 100.65.135.200...
* connect to 100.65.135.200 port 80 failed: No route to host
* Failed to connect to 100.65.135.200 port 80: No route to host
* Closing connection 0
curl: (7) Failed to connect to 100.65.135.200 port 80: No route to host

Я впервые настраиваю кластер с kops и weave и впервые вижу это. Если у кого-то есть ключ к отладке, это было бы здорово !!

Обновлять

  • Прокси-сервер kube правильно регистрирует мою службу: I0210 23:09:41.070508 6 proxier.go:472] Adding new service "my_app/my_app:http" at 100.65.135.200:80/TCP

  • IP-адреса моих модулей не пересекаются с IP-адресами кластера.

Однако я вижу несколько странных журналов в контейнере weave-kube на 2 узлах моих кластеров:

INFO: 2017/02/11 12:14:10.959122 Discovered remote MAC b2:3e:c7:99:16:de at ce:7d:9f:95:66:fb(ip-172-20-55-245)
ERRO: 2017/02/11 12:14:10.959348 Captured frame from MAC (b2:3e:c7:99:16:de) to (ff:ff:ff:ff:ff:ff) associated with another peer ce:7d:9f:95:66:fb(ip-172-20-55-245)
ERRO: 2017/02/11 12:14:39.140186 Captured frame from MAC (06:b7:eb:e7:fa:0e) to (ff:ff:ff:ff:ff:ff) associated with another peer c2:58:a0:4e:b2:ff(ip-172-20-75-108)
ERRO: 2017/02/11 12:15:52.273667 Captured frame from MAC (32:f9:43:24:68:ad) to (ff:ff:ff:ff:ff:ff) associated with another peer c2:58:a0:4e:b2:ff(ip-172-20-75-108)
ERRO: 2017/02/11 12:16:56.686643 Captured frame from MAC (c2:58:a0:4e:b2:ff) to (ff:ff:ff:ff:ff:ff) associated with another peer c2:58:a0:4e:b2:ff(ip-172-20-75-108)
ERRO: 2017/02/11 12:16:56.686969 Captured frame from MAC (ce:7d:9f:95:66:fb) to (ff:ff:ff:ff:ff:ff) associated with another peer ce:7d:9f:95:66:fb(ip-172-20-55-245)
ERRO: 2017/02/11 12:16:56.687002 Captured frame from MAC (72:85:2b:19:65:b9) to (ff:ff:ff:ff:ff:ff) associated with another peer c2:58:a0:4e:b2:ff(ip-172-20-75-108)
ERRO: 2017/02/11 12:16:56.687042 Captured frame from MAC (f2:1a:9e:d8:7f:a3) to (ff:ff:ff:ff:ff:ff) associated with another peer c2:58:a0:4e:b2:ff(ip-172-20-75-108)

Собираюсь исследовать это

Обновление 2

Так что эти ошибки плетения были моей проблемой. Видимо для плетения требовался эттоул, и его не было на моем изображении. Я обновил AMI до 1.5, и теперь все работает, как ожидалось.


kubernetes service kops
person rmonjo    schedule 10.02.2017    source источник
comment
ethtool не требуется Weave Net, но он требуется Kubernetes. Если у вас его нет, Kubernetes делает что-то совершенно катастрофическое для Weave Net. Я исправил это в github.com/kubernetes/kubernetes/pull/36990.   -  person Bryan    schedule 21.02.2017

Ответы (1)


arrow_upward
0
arrow_downward

все работает, как ожидалось, но иногда это не так

Было бы неплохо получить более подробную информацию, чтобы охарактеризовать это - один модуль выходит из строя, а другие работают, или все модули иногда работают, а иногда терпят неудачу?

Однако есть еще кое-что, что нужно проверить:

  1. Ваши виртуальные устройства Ethernet отключаются от моста? См. https://github.com/weaveworks/weave/issues/2601.
  2. Перекрывается ли пространство IP-адресов вашего модуля с пространством IP-адресов кластера?
  3. Проверка 100.65.135.200 отображается с помощью kube-proxy (эта часть описана в https://kubernetes.io/docs/admin/cluster-troubleshooting/).

Последний шаг - посмотреть на сетевые пакеты - запустить tcpdump -n -i weave во время выполнения curl теста; если вы там ничего не видите, запустите дамп на ветке стручка.

person Bryan    schedule 11.02.2017
comment
Спасибо за ваш ответ. Я обновил свой вопрос, я думаю, что вижу аномальные журналы из-за плетения - person rmonjo; 12.02.2017