Временный каталог HDFS в rmr.options

Я новичок в Hadoop, так что извините, если вопрос глупый. У меня есть локальный одноузловой кластер. Я пытаюсь выполнить простое задание MapReduce в RHadoop и получаю следующее сообщение:

> wordcount('/data/complete_works_of_shakespeare.txt')
Error creating temp dir in hadoop.tmp.dir /app/hadoop/tmp due to Permission denied
Show Traceback

 Rerun with Debug
 Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  : 
      hadoop streaming failed with error code 255 Also warnings: 
1: In rmr.options("backend") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
2: In rmr.options("hdfs.tempdir") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
3: In rmr.options("backend") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
4: In rmr.options("backend.parameters") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)

Что я должен сделать, чтобы установить все эти параметры? Как должен выглядеть путь к hdfs.tempdir? Я бы хотел установить временный каталог (если я правильно понимаю, что R хочет от меня)):

 hduser@nina:~$ hadoop fs -ls /
 14/08/10 12:52:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for      your platform... using builtin-java classes where applicable
 Found 6 items
 ...
 drwxr-xr-x   - hduser supergroup          0 2014-08-10 00:04 /temp

кстати я уже пробовал

rmr.options(backend="hadoop")
NULL
Warning:
In rmr.options(backend = "hadoop") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)

Пожалуйста помоги. Большое спасибо.

УПД:

Также пробовал:

 hduser@nina:~$ sudo chmod -R 777 '/app/hadoop' 
 hduser@nina:~$ sudo chmod -R 777 '/tmp' 

Не помогает.


person Julia Suvorova    schedule 10.08.2014    source источник


Ответы (1)


Убедитесь, что у вас есть права доступа к каталогу app/hadoop для создания папки. Попробуйте chown в каталоге. Например:

sudo chown <userid> <directory_path>
person Prasad    schedule 10.08.2014
comment
только что решил проблему, добавив код свойства в conf/hdfs-site.xml <property> <name>dfs.permissions</name> <value>false</value> </property> В любом случае спасибо! - person Julia Suvorova; 10.08.2014