Как получить показатели использования памяти из Hadoop ResourceManager

У меня есть кластер dataproc, работающий в облаке Google, с 3 главными узлами и 40 рабочими узлами. Я использую hadoop ResourceManager для мониторинга приложений и других показателей, таких как использование очередей, использование памяти, работа приложений и т. д. Я не могу получить команду для получения использования памяти для моего кластера, где, как я использую приведенную ниже команду, чтобы получить использование dfs и другие метрики.

администратор hdfs -отчет

Пожалуйста, дайте мне знать команду для получения использования памяти на сервере Linux из диспетчера ресурсов, как показано ниже.

введите здесь описание изображения

Я также просмотрел приведенные ниже ссылки для получения более подробной информации, но это не помогло мне получить то, что я хочу.

https://hadoop.apache.org/docs/current/


google-cloud-dataproc hadoop hdfs namenode resourcemanager
person MichealMills    schedule 07.08.2018    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Я считаю, что информация предоставляется через JMX по URL-адресу /jmx, а также по адресу Metrics API

Если вам нужен удаленный доступ к JMX, вы можете включить его в файле yarn-env.sh.

export YARN_RESOURCEMANAGER_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8001"

Затем укажите jconsole на порт 8001 диспетчера ресурсов и найдите нужные значения.

person OneCricketeer    schedule 07.08.2018

arrow_upward
0
arrow_downward

Если вашей конечной целью является мониторинг (панель инструментов или оповещение), я бы посоветовал изучить Stackdriver Monitoring. Dataproc интегрирован с ним и делает доступным ряд метрик кластера (включая Yarn и HDFS).

Для одноразового использования вы можете: gcloud compute ssh my-cluster-m -c "hdfs admin -report"

Вы также можете получить те же метрики из поля clusterMetrics, описав свой кластер.

person tix    schedule 07.08.2018