как перезапустить кластер hadoop на emr

У меня есть установка hadoop на Amazon Elastic MapReduce, всякий раз, когда я пытаюсь перезапустить кластер, я получаю следующую ошибку:

/stop-all.sh
no jobtracker to stop
The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is
Are you sure you want to continue connecting (yes/no)? yes 
localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
localhost: Permission denied (publickey).
no namenode to stop
localhost: Permission denied (publickey).
localhost: Permission denied (publickey).

Есть идеи, как перезапустить hadoop?


hadoop emr
person CruncherBigData    schedule 15.09.2013    source источник
comment
где находится stop-all.sh (и другие)?   -  person Marsellus Wallace    schedule 24.05.2015

Ответы (3)


arrow_upward
2
arrow_downward

У меня сработал следующий хак.

Я заменил команду "ssh" в sbin / slaves.sh & sbin / hadoop-daemon.sh на "ssh -i ~ / .ssh / keyname"

person Bharat Jain    schedule 03.01.2014

arrow_upward
1
arrow_downward

Я использую hadoop версии 2.4, и у меня это сработало:

export HADOOP_SSH_OPTS="-i /home/hadoop/mykey.pem"
person William    schedule 09.03.2015
comment
Это устранило ошибку, о которой я сообщил в этом случае ... и, похоже, превосходит другое предложение. Тем не менее, сценарий не работает для меня (как и сценарии stop-dfs или stop-yarn): [sbin] $ ./stop-all.sh Этот сценарий устарел. Вместо этого используйте stop-dfs.sh и stop-yarn.sh Остановка узлов имен на [ip-10-169-233-108.ec2.internal] ip-10-169-233-108.ec2.internal: нет узла имен для остановки localhost : нет datanode для остановки Остановка вторичных именных узлов [0.0.0.0] 0.0.0.0: нет secondarynamenode, чтобы остановить остановку демонов пряжи Нет диспетчера ресурсов для остановки localhost: нет nodemanager для остановки нет прокси-сервера для остановки - person user3777612; 14.04.2015

arrow_upward
0
arrow_downward

Для работы сценария stop-all.sh вам, вероятно, понадобится тот же пользователь на всех машинах, что и пользователь, с которым вы выполняете сценарий stop-all.sh.

Более того, похоже, что у вас нет настройки ssh без пароля с машины, на которой вы выполняете stop-all.sh, на остальные машины, что избавит вас от ручного ввода пароля для каждой машины отдельно. Не забывайте, что пароли для одного и того же пользователя на разных машинах могут отличаться.

person SSaikia_JtheRocker    schedule 15.09.2013