Невозможно запустить Hadoop (3.1.0) в псевдомоде на Ubuntu (16.04)

Я пытаюсь следовать руководству по началу работы с веб-сайта Hadoop Apache, в частности из распределенной конфигурации Pseudo, Руководство по началу работы с Apache Hadoop 3.1.0

но я не могу запустить узлы имен и данных Hadoop. Кто-нибудь может помочь советом? даже если это вещи, которые я могу запустить, чтобы попытаться отладить / исследовать дальше.

В конце журналов я вижу сообщение об ошибке (не уверен, что это важно или отвлекающий маневр).

    2018-04-18 14:15:40,003 INFO org.apache.hadoop.hdfs.StateChange: STATE* Network topology has 0 racks and 0 datanodes

    2018-04-18 14:15:40,006 INFO org.apache.hadoop.hdfs.StateChange: STATE* UnderReplicatedBlocks has 0 blocks

    2018-04-18 14:15:40,014 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Total number of blocks            = 0

    2018-04-18 14:15:40,014 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Number of invalid blocks          = 0

    2018-04-18 14:15:40,014 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Number of under-replicated blocks = 0

    2018-04-18 14:15:40,014 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Number of  over-replicated blocks = 0

    2018-04-18 14:15:40,014 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Number of blocks being written    = 0

    2018-04-18 14:15:40,014 INFO org.apache.hadoop.hdfs.StateChange: STATE* Replication Queue initialization scan for invalid, over- and under-replicated blocks completed in 11 msec

    2018-04-18 14:15:40,028 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting

    2018-04-18 14:15:40,028 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 9000: starting

    2018-04-18 14:15:40,029 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: NameNode RPC up at: localhost/127.0.0.1:9000

    2018-04-18 14:15:40,031 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Starting services required for active state

    2018-04-18 14:15:40,031 INFO org.apache.hadoop.hdfs.server.namenode.FSDirectory: Initializing quota with 4 thread(s)

    2018-04-18 14:15:40,033 INFO org.apache.hadoop.hdfs.server.namenode.FSDirectory: Quota initialization completed in 2 milliseconds name space=1 storage space=0 storage types=RAM_DISK=0, SSD=0, DISK=0, ARCHIVE=0, PROVIDED=0 2018-04-18 14:15:40,037 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Starting CacheReplicationMonitor with interval 30000 milliseconds

> 2018-04-18 14:15:40,232 ERROR
> org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15:
> SIGTERM
> 
> 2018-04-18 14:15:40,236 ERROR
> org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 1:
> SIGHUP
> 
> 2018-04-18 14:15:40,236 INFO
> org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
> /************************************************************
> SHUTDOWN_MSG: Shutting down NameNode at c0315/127.0.1.1

Я подтвердил, что могу ssh localhost без запроса пароля. Я также выполнил следующие шаги из вышеупомянутого руководства по началу работы с Apache:

  1. $ bin/hdfs namenode -format
  2. $ sbin/start-dfs.sh

Но я не могу запустить шаг 3, чтобы просмотреть местоположение по адресу http://localhost:9870/. Когда я запускаю >jsp из командной строки терминала, я просто возвращаюсь,

14900 иен

Я ожидал список моих узлов.

Прикреплю полные логи.

Может ли кто-нибудь помочь даже с способами отладки, пожалуйста?

Версия Java, $ java --version

java 9.0.4 
Java(TM) SE Runtime Environment (build 9.0.4+11) 
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)

EDIT1: я повторил шаги с Java8 и получил то же сообщение об ошибке.

EDIT2: следуя приведенным ниже комментариям, я проверил, что теперь я определенно указываю на Java8, и я также прокомментировал параметр localhost для 127.0.0.0 из файла /etc/hosts

commented-out-localhosts

java-версия

hadoop-env

версия Убунту,

$ lsb_release -a

No LSB modules are available.
Distributor ID: neon
Description: KDE neon User Edition 5.12
Release: 16.04
Codename: xenial

Я пробовал запускать команды, bin/hdfs version

Hadoop 3.1.0 
Source code repository https://github.com/apache/hadoop -r 16b70619a24cdcf5d3b0fcf4b58ca77238ccbe6d 
Compiled by centos on 2018-03-30T00:00Z 
Compiled with protoc 2.5.0 
From source with checksum 14182d20c972b3e2105580a1ad6990 
This command was run using /home/steelydan.com/roycecollige/Apps/hadoop-3.1.0/share/hadoop/common/hadoop-common-3.1.0.jar

когда я пытаюсь bin/hdfs groups, он не возвращается, а дает мне,

018-04-18 15:33:34,590 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

когда я пытаюсь, $ bin/hdfs lsSnapshottableDir

lsSnapshottableDir: Call From c0315/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

когда я пытаюсь, $ bin/hdfs classpath

/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/etc/hadoop:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/common/lib/:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/common/:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/hdfs:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/hdfs/lib/:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/hdfs/:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/mapreduce/:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/yarn:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/yarn/lib/:/home/steelydan.com/roycecoolige/Apps/hadoop-3.1.0/share/hadoop/yarn/*

ядро-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

person robbie70    schedule 19.04.2018    source источник
comment
Вам нужно удалить 127.0.1.1 из ваших файлов /etc/hosts и в идеале не использовать локальный хост для каких-либо служб.   -  person OneCricketeer    schedule 19.04.2018
comment
Кроме того, Hadoop не поддерживает Java 9. Понизьте версию Java.   -  person OneCricketeer    schedule 19.04.2018
comment
+1. Посмотрите stackoverflow.com/questions/48113847/ в частности issues.apache.org/jira/browse/HADOOP-11123 для статуса Java 9 для Hadoop.   -  person tk421    schedule 19.04.2018
comment
спасибо за комментарии. Я установил Java8, но забыл обновить hadoop-env.sh, поэтому при повторном запуске я, вероятно, все еще ссылался на Java9. Завтра попробую, когда на работу. Спасибо еще раз.   -  person robbie70    schedule 20.04.2018
comment
хорошо - я могу подтвердить, что указываю на Java8, но все равно получаю те же сообщения (см. EDIT2). Кто-нибудь знает, к чему относится это сообщение об ошибке, или это отвлекающий маневр? org.apache.hadoop.hdfs.server.namenode.NameNode: ПОЛУЧЕН СИГНАЛ 15: › SIGTERM   -  person robbie70    schedule 20.04.2018


Ответы (1)


Я не смог понять (я только что попробовал еще раз, так как очень скучаю по NEON), но хотя :9000 не используется, в моем случае ОС тоже отправляет SIGTERM.

Единственный способ, который я нашел, чтобы решить эту проблему, — это, к сожалению, вернуться к стандартной Ubuntu.

person PalinDrone    schedule 06.08.2020