кластер амбари + плохое соединение между агентом амбари и сервером амбари

у нас есть кластер амбари с 872 машинами узлов данных, когда версия амбари - 2.6.x

у нас есть проблема с сетью,

после долгого расследования мы обнаружили, что агент амбари, работающий на каком-то компьютере, плохо взаимодействует с сервером амбари.

поэтому мы получаем странное поведение в виде 5 мертвых узлов данных с панели инструментов Ambari, в то время как компьютер наверняка исправен

Можно ли указать более допустимое значение в конфигурации агента Ambari, чтобы подтверждение между агентом Ambari и сервером Ambari было через более короткое время, чтобы игнорировать сетевые проблемы?

что-то вроде тайм-аута или временного соединения между агентом амбари и сервером амбари


hdp ambari
person jessica    schedule 06.05.2020    source источник
comment
У вас есть другие проблемы, кроме этого параметра, который вы ищете. Я видел подобное сообщение в сообществе Cloudera, где кто-то упоминал такое же количество узлов данных. 872 узла требует очень специфической настройки производительности. Я бы порекомендовал вам, ребята, проявить вашу лицензию на поддержку cloudera или обратиться к кому-то вроде DFHEINZ для оценки, настройки и обеспечения высокой доступности кластера.   -  person steven-matison    schedule 11.05.2020

Ответы (2)


arrow_upward
0
arrow_downward

Прежде всего, вам нужно выяснить основную причину проблемы, по которой узел данных отображается как мертвый.

  1. Агент Ambari работает на каждом узле. Он отвечает за отправку показателей и пульса на сервер Ambari, которые затем публикуются в вашем веб-интерфейсе Ambari.
  2. Узел имени ждет 10 минут, пока не объявит узел данных мертвым и скопирует блоки в другие узлы данных.
  3. Если он показывает, что узел данных мертв, проверьте статус агента Ambari в конкретном узле, запустив-service ambari-agent status. Параллельно вы можете проверить ambari-agent.log в рабочем узле, чтобы узнать, почему агент Ambari перестал работать.
person Subash    schedule 18.07.2020

arrow_upward
0
arrow_downward

Вы можете настроить свои HTTP-таймауты в амбари-агентах для служебных задач, HTTP-тайм-ауты

https://github.com/apache/ambari/blob/trunk/ambari-agent/conf/unix/ambari-agent.ini.

Есть раздел HTTP Timeout, который вы можете настроить в зависимости от пропускной способности вашей сети.

Файл должен находиться в /etc/ambari-agent/ambari.properties.

person Yassine Abdul-Rahman    schedule 09.05.2020
comment
github.com/apache/ambari/ blob / trunk / ambari-agent / conf / unix / - person Yassine Abdul-Rahman; 10.05.2020