Задание продолжает работать в LocalJobRunner в Cloudera 5.1

Нужна быстрая помощь. Наше задание отлично работает в MapR, но когда мы запускаем то же задание в Cloudera 5.1, оно продолжает работать в локальном режиме.

Я уверен, что это какая-то проблема с конфигурацией. Какой параметр конфигурации?

14/08/22 12:16:58 INFO mapreduce.Job: map 0% reduce 0%
14/08/22 12:17:03 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:06 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:09 INFO mapred.LocalJobRunner: map > map

Спасибо.


hadoop mapreduce cloudera cloudera-cdh
person DilTeam    schedule 22.08.2014    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Проблема заключалась в том, что Cloudera 5.1 запускает дистрибутив Yarn и под Yarn, если вы хотите запустить задание MapReduce, которое НЕ ДОЛЖНО использовать:

java -cp $CLASSPATH CLASSNAME (под Yarn это запустит задание в локальном режиме.)

Вместо этого вы должны использовать

пряжа -cp $CLASSPATH ИМЯ КЛАССА

Кроме того, я узнал еще одну вещь: вы можете получить путь к классам HADOOP, выполнив следующую команду:

путь к классам пряжи

person DilTeam    schedule 29.08.2014
comment
Да, Hadoop 2.x некоторое время использует YARN, а MapReduce работает как MRv2. Но вы все равно можете установить вместо него MRv1, который может вести себя как mapr. См. артефакты «mr1» и сервис под названием «mapreduce». Однако вы не можете одновременно использовать MRv2 и MRv1 на основе YARN. - person Sean Owen; 29.08.2014
comment
Я столкнулся с той же проблемой, но в псевдораспределенном режиме. comment53418582_32787996" title="для понимания шагов обработки требуется помощь Hadoop"> stackoverflow.com/questions/32787996/. Пожалуйста помоги. - person Ajay; 26.09.2015