Кластер Cloudera 5.4.4 — получение совокупных показателей использования

Я хотел бы собрать совокупные показатели использования из кластера Cloudera 5.4.4 Hadoop. Некоторые из показателей, на мой взгляд, следующие:

  • Средняя загрузка ЦП кластера в день/в неделю
  • Первые n самых продолжительных заданий/запросов в Hadoop
  • Первые n пользователей, которые чаще всего используют кластер (по использованию, по количеству отправленных заданий)
  • Использование диска кластера по сравнению с емкостью диска
  • Рост использования диска кластера с течением времени

Существуют ли какие-либо API/ресурсы/инструменты и т. д., которые я мог бы использовать для начала? Я не думаю, что я полностью уверен в том, с чего начать. Любая отправная точка будет принята с благодарностью. Кроме того, поделитесь своим опытом работы с метриками использования кластера, если он у вас есть.

Заранее спасибо!


hadoop cloudera-cdh cloudera-manager
person activelearner    schedule 03.09.2015    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Ganglia – это масштабируемая и распределенная система мониторинга с открытым исходным кодом для больших кластеров. Он собирает, агрегирует и предоставляет представления временных рядов десятков машинных показателей, таких как CPU, memory, storage, network usage. Вы можете увидеть Ganglia в действии в UC Berkeley Grid. Ganglia также является популярным решением для мониторинга кластеров Hadoop и HBase, поскольку Hadoop (и HBase) имеет встроенную поддержку публикации своих метрик в Ganglia. С Ganglia вы можете легко увидеть количество байтов, записанных конкретным узлом данных HDSF с течением времени, процент попаданий в кэш блоков для данного сервера региона HBase, общее количество запросов к кластеру HBase, время, затраченное на сборку мусора, и многое-многое другое. другие.

ref- http://hakunamapdata.com/ganglia-configuration-for-a-small-hadoop-cluster-and-some-troubleshooting/

person Kishore    schedule 04.09.2015
comment
Спасибо за ваш ответ. После некоторых исследований я обнаружил, что могу использовать менеджер cloudera для получения 1,4 и 5. Однако я до сих пор не знаю, как мне получить 2 и 3. Любая помощь будет принята с благодарностью. - person activelearner; 16.09.2015

arrow_upward
1
arrow_downward

Я надеюсь, что по этой ссылке (здесь) можно найти некоторые подробности для 2 и 3. .

person Vijayanand    schedule 23.09.2015