Установка hadoop2.2.0 в Linux (NameNode не запускается)

Я пытаюсь запустить кластер Hadoop с одним узлом на своей машине со следующей конфигурацией:

inux livingstream 3.2.0-29-generic #46-Ubuntu SMP Fri Jul 27 17:03:23 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

Однако я могу отформатировать namenode без каких-либо проблем, когда пытаюсь запустить namenode, используя:

hadoop-daemon.sh start namenode

Я получаю следующие ошибки:

ishan@livingstream:/usr/local/hadoop$ hadoop-daemon.sh start namenode
Warning: $HADOOP_HOME is deprecated.

mkdir: cannot create directory `/var/log/hadoop/ishan': Permission denied
chown: cannot access `/var/log/hadoop/ishan': No such file or directory
mkdir: cannot create directory `/var/run/hadoop': Permission denied
starting namenode, logging to /var/log/hadoop/ishan/hadoop-ishan-namenode-livingstream.out
/usr/sbin/hadoop-daemon.sh: line 138: /var/run/hadoop/hadoop-ishan-namenode.pid: No such file or directory
/usr/sbin/hadoop-daemon.sh: line 137: /var/log/hadoop/ishan/hadoop-ishan-namenode-livingstream.out: No such file or directory
head: cannot open `/var/log/hadoop/ishan/hadoop-ishan-namenode-livingstream.out' for reading: No such file or directory
/usr/sbin/hadoop-daemon.sh: line 147: /var/log/hadoop/ishan/hadoop-ishan-namenode-livingstream.out: No such file or directory
/usr/sbin/hadoop-daemon.sh: line 148: /var/log/hadoop/ishan/hadoop-ishan-namenode-livingstream.out: No such file or directory

Я не создавал отдельного пользователя «hduser» для установки Hadoop. Я использую свое существующее имя пользователя. Может быть, поэтому я столкнулся с проблемой. Может кто-нибудь, пожалуйста, помогите мне с этим.

Какие именно разрешения мне нужно изменить, чтобы это заработало?

ОБНОВЛЕНИЕ После возни и решения проблем с разрешениями я перешел к новой глупости ошибок, размещенных здесь: hadoop Nanenode не запускается Я всегда буду помнить о вас, ребята, если вы сможете подтолкнуть меня в правильном направлении, чтобы я мог начать настоящую работу над этим.


hadoop hadoop2
person Riddle    schedule 26.05.2014    source источник
comment
Перечисленные каталоги должны принадлежать пользователю приложения. В вашем случае он должен принадлежать существующему пользователю, которого вы используете. Самый простой способ — создать каталог /var/log/hadoop и /var/run/hadoop и сделать его владельцем существующего пользователя.   -  person alvits    schedule 27.05.2014
comment
@alvits: я боялся, что это так, владелец / var / * является пользователем root. Могу ли я каким-либо образом изменить HADOOP_LOG_DIR?   -  person Riddle    schedule 27.05.2014
comment
Вам придется изменить сценарии и несколько файлов конфигурации. Готовы ли вы пойти по этому пути? У вас нет доступа root или sudo? Потому что для изменения конфигурации также в первую очередь потребуется root-доступ.   -  person alvits    schedule 27.05.2014
comment
@alvits У меня есть root-доступ, теперь, когда я запускаю namenode и datanode с помощью sudo, он не выдает никаких ошибок, но jps ничего не показывает и localhost :50070 не может подключиться. Так что я не думаю, что Sudo тоже работает. я обновил вопрос   -  person Riddle    schedule 27.05.2014
comment
Кажется, вы еще не настроили namenode. Процесс не нашел требуемый хост/порт. Здесь вы определите имя хоста и порт 50070.   -  person alvits    schedule 27.05.2014
comment
@alvits: может быть, также идея создания необходимых каталогов и смены разрешения не будет работать каждый раз, мне придется делать это снова и снова, когда я запускаю или останавливаю узлы имен. Я еще раз посмотрю все свои файлы конфигурации. :)   -  person Riddle    schedule 27.05.2014
comment
Правильно запускать/останавливать с помощью sudo или root. Сценарий будет установлен для настроенного владельца процесса. Однако убедитесь, что у вас правильная конфигурация, в частности, владелец процесса (владелец hadoop), адрес прослушивания и порт, а также новый параметр, соответствующий ныне устаревшему HADOOP_HOME.   -  person alvits    schedule 27.05.2014
comment
@alvits: не могли бы вы указать мне эти файлы конфигурации, пожалуйста. Я снова выполнил установку с помощью hduser, и на этот раз я получаю те же ошибки с другим расположением файла / var / run .. Я немного смущен тем, почему он создает файл журнала в месте, доступном только для root ???   -  person Riddle    schedule 29.05.2014
comment
Каталоги конфигурации по умолчанию находятся в /etc/‹service›/conf. Таким образом, для hadoop это будет файл /etc/hadoop/conf, а для hbase — файл /etc/hbase/conf. Каталоги журналов размещаются в обычном месте системных журналов. В этом нет ничего необычного, поскольку службы начинают с повышенных привилегий, а затем переходят к владельцам приложений. Вы также должны проверить /etc/alternatives, если ваша система использует альтернативы.   -  person alvits    schedule 30.05.2014
comment
@alvits Я проверял и перепроверял свои конфигурации, я также обошел ошибки разрешений. Но я все еще получаю эту ошибку авторитета порта хоста :(   -  person Riddle    schedule 01.06.2014