Hadoop 1.2.1 работает в локальном режиме, несмотря на установленное значение mapred.job.tracker

Я пытаюсь отправить задание жирафа в кластер hadoop 1.2.1. В кластере есть главный узел узла имени, главный узел уменьшения карты и четыре подчиненных узла. Задание завершается со следующим исключением:

java.util.concurrent.ExecutionException: java.lang.IllegalStateException: checkLocalJobRunnerConfiguration: When using LocalJobRunner, must have only one worker since only 1 task at a time!

Однако вот мой файл mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>job.tracker.private.ip:9001</value>
     </property>
     <property>
         <name>mapreduce.job.counters.limit</name>
         <value>1000</value>
     </property>
     <property>
         <name>mapred.tasktracker.map.tasks.maximum</name>
         <value>50</value>
     </property>
     <property>
         <name>mapred.tasktracker.reduce.tasks.maximum</name>
         <value>50</value>
     </property>
</configuration>

и мой файл core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://name.node.private.ip:9000</value>
     </property>
</configuration>

Кроме того, основной файл моего трекера заданий содержит его частный IP-адрес, а файл ведомых устройств содержит частные IP-адреса четырех ведомых устройств. Главный файл узла имени содержит его частный IP-адрес, а файл подчиненных содержит частные IP-адреса четырех подчиненных.

Я думал, что установка в поле mapred.job.tracker IP-адреса мастера уменьшения карты приведет к загрузке Hadoop с удаленным исполнителем заданий, но, по-видимому, нет - как я могу это исправить?


olap hadoop mapreduce gremlin giraph
person cscan    schedule 14.04.2017    source источник
comment
Вы действительно все еще используете Hadoop 1?   -  person OneCricketeer    schedule 14.04.2017
comment
Да, это необходимо для операций OLAP с графовой базой данных Titan.   -  person cscan    schedule 14.04.2017
comment
Только Tinkaurelius нужен Hadoop 1. github.com/thinkaurelius/titan/wiki/Downloads   -  person OneCricketeer    schedule 14.04.2017
comment
@cscan Какое у вас значение для fs.default.name? Вы можете опубликовать core-site.xml?   -  person franklinsijo    schedule 14.04.2017
comment
@franklinsijo Я обновил вопрос.   -  person cscan    schedule 14.04.2017
comment
@cricket_007 Titan использует гремлина для операций OLAP.   -  person cscan    schedule 14.04.2017
comment
Я знаю это... Я читал, что разработка Titan фактически остановилась, когда люди, стоящие за ней, были приобретены DataStax, и теперь использование DSE Graph было бы выходом. Или перейдите на OrientDB, если вам нужна бесплатная масштабируемая графовая база данных.   -  person OneCricketeer    schedule 14.04.2017
comment
@cricket_007 Да, это отстой для таких компаний, как мы, которые начинали с Titan до приобретения, тем более что граф DSE на самом деле не имеет реализации API tinkerpop... datastax-oss.atlassian.net/browse/JAVA-1250   -  person cscan    schedule 17.04.2017
comment
@franklinsijo Я хочу разделить основные и рабочие задачи, поскольку я запускаю это в кластере. Однако я попробовал и получил то же сообщение об ошибке.   -  person cscan    schedule 17.04.2017
comment
К сожалению, я не могу помочь вам с вашей проблемой Hadoop, но что касается проблемы с застреванием в Титане: Титан был разветвлен и теперь живет как ЯнусГраф. Первый официальный выпуск JanusGraph на самом деле ожидается сегодня. Здесь вы можете узнать больше о начале JanusGraph: datanami.com/2017/01/13/janusgraph-picks-titandb-left-off   -  person Florian Hockmann    schedule 19.04.2017
comment
@FlorianHockmann Это отличные новости, спасибо.   -  person cscan    schedule 19.04.2017

Ответы (1)


arrow_upward
0
arrow_downward

Проблема была не в том, что hadoop работал в режиме локального задания, проблема в том, что giraph, сконфигурированный на другом компьютере, предположил, что hadoop работает в режиме локального задания.

Я отправлял задание через гремлин, мне нужно было добавить следующую строку в его файл конфигурации:

mapred.job.tracker=job.tracker.private.ip:9001
person cscan    schedule 20.04.2017