Масштабируемая память Ambari для всех служб

Изначально у меня было две машины для установки hadoop, spark, hbase, kafka, zookeeper, MR2. У каждой из этих машин было 16 ГБ оперативной памяти. Я использовал Apache Ambari для настройки двух машин с вышеупомянутыми службами.

Теперь я увеличил оперативную память каждой из этих машин до 128 ГБ.

Как теперь я могу сказать Ambari масштабировать все свои службы, чтобы использовать дополнительную память?

Нужно ли понимать, как настраивается память для каждой из этих служб?

Описана ли эта часть где-нибудь в документации Ambari?


hadoop hadoop2 ambari
person Vibhuti    schedule 29.02.2016    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Ambari рассчитывает рекомендуемые параметры использования памяти для каждой службы во время установки. Таким образом, изменение объема памяти после установки не приведет к увеличению масштаба. Вам придется редактировать эти настройки вручную для каждой службы. Для этого вам потребуется понимание того, как память должна быть настроена для каждой службы. Я не знаю какой-либо документации Ambari, в которой бы рекомендовались значения конфигурации памяти для каждой службы. Я бы предложил один из следующих маршрутов:

1) Ознакомьтесь с документацией по каждой службе (YARN, Oozie, Spark и т. д.) и посмотрите, что они рекомендуют для конфигураций параметров, связанных с памятью.

2) Взгляните на код Ambari, который вычисляет рекомендуемые значения для этих параметров памяти, и используйте эти уравнения, чтобы найти новые значения, учитывающие вашу увеличенную память.

person cjackson    schedule 29.02.2016

arrow_upward
2
arrow_downward

Я использовал этот https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.0/bk_installing_manually_book/content/determine-hdp-memory-config.html

Кроме того, SmartSense должен http://docs.hortonworks.com/HDPDocuments/SS1/SmartSense-1.2.0/index.html

Нам нужно определить ядра, память, диски, и если мы используем Hbase или нет, тогда скрипт предоставит настройки памяти для yarn и mapreduce.

root@ttsv-lab-vmdb-01 scripts]# python yarn-utils.py -c 8 -m 128 -d 3 -k True
     Using cores=8 memory=128GB disks=3 hbase=True
     Profile: cores=8 memory=81920MB reserved=48GB usableMem=80GB disks=3
     Num Container=6
     Container Ram=13312MB
     Used Ram=78GB
     Unused Ram=48GB
     yarn.scheduler.minimum-allocation-mb=13312
     yarn.scheduler.maximum-allocation-mb=79872
     yarn.nodemanager.resource.memory-mb=79872
     mapreduce.map.memory.mb=13312
     mapreduce.map.java.opts=-Xmx10649m
     mapreduce.reduce.memory.mb=13312
     mapreduce.reduce.java.opts=-Xmx10649m
     yarn.app.mapreduce.am.resource.mb=13312
     yarn.app.mapreduce.am.command-opts=-Xmx10649m
     mapreduce.task.io.sort.mb=5324

Кроме того, у нас есть формулы для расчета вручную. Я попробовал с этими настройками, и это сработало для меня.

person Vibhuti    schedule 15.03.2016