HADOOP/YARN. Всегда ли ResourceManager и узел hdfs NameNode устанавливаются на одном и том же хосте?

Всегда ли установлены «диспетчер ресурсов» и «узел имен hdfs» на одном и том же хосте?

1) Когда я хочу отправить http-запрос (YARN REST API) на получить новый идентификатор приложения Я использую этот веб-URI:

http://<rm http address:port>/ws/v1/cluster/apps/new-application

Этот порт является http-портом веб-интерфейса диспетчера ресурсов, его значение по умолчанию — 8088, как показано в img1: источник img1Порты пряжи

2) Когда я хочу отправить http-запрос (API WebHDFS REST) ​​для команд hdfs, например, на получить статус файла Я использую этот веб-URI:

http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS

Этот <PORT> является HTTP-портом NameNode WebUI, его значение по умолчанию — 50070, как показано на img2: источник img2 Порты HDFS

Всегда ли узлы этих компонентов (ResourceManager и NaneNode) устанавливаются на одном и том же узле?

Любая помощь будет оценена по достоинству, спасибо!


rest hadoop apache webhdfs yarn
person Xquery    schedule 30.03.2015    source источник
comment
Вы можете установить YARN Resource Manager и узел имен HDFS на любой хост, который вам нравится. Им не нужно делиться хостом.   -  person vanekjar    schedule 01.04.2015

Ответы (1)


arrow_upward
11
arrow_downward

Нет необходимости запускать resourceManager и nameNode на одной машине, у нас есть такая конфигурация при работе в одном узле/маленьком кластере --- с несколькими узлами --- конфигурация. При наличии большого кластера главные узлы обычно запускают resourceManager, nameNode и secondNamenode на разных машинах.

топология кластера

Взгляните на эти ссылки:

Главные узлы в кластерах Hadoop

HortonWorks : типичный кластер Hadoop

person Hamza Zafar    schedule 01.04.2015
comment
В примечании говорится, что Datanodes, NodeManagers, regionservers развернуты совместно. Вы имеете в виду, что у каждого рабочего узла есть datanode, nodemanager и regionserver?! - person Yassir S; 24.03.2017