Создайте файл hdfs с помощью pywebhdfs и получите сообщение об ошибке: [Errno -2] Имя или служба неизвестна

Некоторая информация о моей среде разработки:

openstack: Джуно

хауп: 2.4.1

pywebhdfs: 0.4.0

Я создаю кластер Hadoop через клиентский API openstack sahara, затем хочу создать файл в HDFS, используя pywebhdfs (для запуск заданий на созданном кластере hadoop). Но при создании файла HDFS возникает ошибка, сообщение об ошибке:

HTTPConnectionPool(host='vanillacluster-vanillacluster-slave-vanilla-002.novalocal', port=50075): Max retries exceeded with url: /webhdfs/v1/user/hadoop/test/pg20417.txt?op=CREATE&user.name=hadoop&namenoderpcaddress=vanillacluster-vanillacluster-master-vanilla-001:9000&overwrite=false (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f2455bd5750>: Failed to establish a new connection: [Errno -2] Name or service not known',))

Я проверил /etc/hosts, все IP-адреса узлов и имена хостов перечислены. Кто-нибудь знает, как обнаружить возможные проблемы? Спасибо


hadoop openstack webhdfs
person Robert.Chiang    schedule 14.12.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Я решил эту проблему, изменив файл /etc/hosts и сопоставив IP-адрес и имя хоста каждого узла, например:

x.x.x.x vanillacluster-vanillacluster-slave-vanilla-002

x.x.x.x vanillacluster-vanillacluster-master-vanilla-001

person Diana Acosta Rueda    schedule 14.03.2016