сбой потоковой передачи hadoop с кодом ошибки 1.. попытка rmr (пакет Rhadoop--R) с Datastax cassandra

Мне нужно разъяснение относительно rmr+rhdfs(Rhadoop) с Datastax cassandra(CFS). На данный момент все функции в rhdfs и rmr(to.dfs(),from.dfs()) работают.

Но когда я пытаюсь запустить mapreduce(), возникает следующая ошибка:

команда потоковой передачи не удалась!. Ошибка потоковой передачи Hadoop с кодом ошибки 1.

плюс это вообще не создает никаких журналов в jobtracker.no stderr. Пожалуйста, помогите мне узнать причину.


person Saranya    schedule 19.04.2014    source источник


Ответы (1)


rmr 3.1.0 совместим с Apache Hadoop 2.2.0

https://github.com/RevolutionAnalytics/rmr2/blob/master/docs/compatibility.md

DSE использует настроенный Hadoop 1.0.4, поэтому он сообщает, почему mapreduce() не работает для вашего тестирования.

Один из обходных путей — настроить собственный кластер hadooop и заменить HDFS на CFS.

person alexliu68    schedule 21.04.2014