Как я могу решить эту проблему с Hadoop core-site.xml?

Я использую Hadoop-2.7.6 и хочу собрать полностью распределенную версию. Я дал 3 сервера виртуальных машин, и они могут использовать только порт 32222.

В /etc/hosts,

1xx.xxx.xxx.xx1 namenode
1xx.xxx.xxx.xx2 slave1
1xx.xxx.xxx.xx3 slave2

Затем в core-site.xml,

<property>
<name>fs.default.name</name>
<value>hdfs://namenode:32222</value>
</property>

Но когда я выполнил hdfs dfs -ls,

ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "hostname/xxx.xxx.xxx.xxx"; destination host is: "namenode":32222

возникает это сообщение об ошибке. Более того, когда я выполнил start-all.sh

Starting namenodes on [namenode]

то другой подчиненный узел происходит тайм-аут. Как можно решить эту проблему..?


configuration ip port hadoop namenode
person withkikoz    schedule 30.05.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Свойство fs.default.name устарело и заменено на fs.defaultFS https://stackoverflow.com/a/30480984/7857701.

<property>
    <name>fs.defaultFs</name>
    <value>hdfs://namenode:32222</value>
</property>
person Snigdhajyoti    schedule 30.05.2020
comment
Я уже изменил fs.defaut.name на fs.defautFS, но это пока не работает... - person withkikoz; 31.05.2020
comment
Я получил это. В нем говорится, что эта проблема может возникнуть, если файл раздела данных таблицы Hive поврежден. Также это stackoverflow.com/a/6138805/7857701 - person Snigdhajyoti; 31.05.2020