Я работаю над дистрибутивом IBM Hadoop (BigInsights), который был установлен с использованием Apache Ambari, и в настоящее время в нем включена GPFS (общая параллельная файловая система) в качестве уровня прозрачности HDFS. В Ambari мы включили режим обслуживания HDFS, и внесение любых изменений в core/hdfs-site.xml через консоль Ambari невозможно. Итак, если я хочу внести какие-либо изменения в core/hdfs-site.xml, я должен сделать их на стороне сервера с помощью CLI, тогда как я должен перезапустить свой namenode/datanode в среде GPFS? Нужно ли перезапускать коннектор, который активирует новые параметры, или перезапускать namenode? Если коннектор работает, у меня есть команда «mmhadoopctl», но если нет, то какую команду я должен использовать, чтобы включить новые параметры, помещенные в файл конфигурации.
Процесс перезапуска Namenode в IBM BigInsights (включен GPFS — уровень прозрачности HDFS)
Ответы (2)
Если нижележащая файловая система — GPFS (не HDFS), почему в ней до сих пор работают namenode и datanodes? Я подозреваю, что GPFS имеет отдельные файлы конфигурации и не будет знать, что вы установили в hdfs-site.xml.
Независимо от этого, перезапустить namenode довольно просто, войдите в систему как пользователь hdfs и запустите hadoop-daemon.sh stop namenode, затем hadoop-daemon.sh stop namenode, скрипт hadoop-daemon.sh находится в sbin HADOOP_HOME.
mmhadoopctl connector getstate, я увижу, что namenode и узлы данных работают под слоем GPFS: ipaddress: namenode работает как процесс 1234 ipaddress: узел данных работает как процесс 33433 ipaddress: узел данных работает как процесс 23231 ipaddress: узел данных работает как процесс 12343. Я знаю, как перезапустить демонов в обычном дистрибутиве, но хочу знать, что мы должны делать, когда включена GPFS.
- person Abhishek Sakhuja; 01.11.2016
Spectrum Scale (GPFS) предоставляет собственный сервис namenode (а также сервисы datanode). Однако это всего лишь оболочка над базовой файловой системой Spectrum Scale и метаданными Spectrum Scale. Служба NameNode не имеет состояния, так как, например, вся информация о файлах, ACL и т. д. хранится в Spectrum Scale (и ее можно просмотреть из командной строки с помощью инструментов командной строки POSIX и Spectrum Scale).
/usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector stop
/usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector start
/usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector getstate
т.е. делать это с помощью команд GPFS, а не общей службы Hadoop NameNode.
