настройка конфигурации в mrunit

Я искал в документации mrunit, но пока не смог ее найти. Как мне передать параметры конфигурации в мой mrunit.

Так, например, если я возьму пример с количеством слов.

Допустим, в моем коде драйвера я устанавливаю этот параметр...

conf.set("delimiter",args[2])

И в моем коде картографа я называю это так:

String delimiter = conf.get("delimiter");
String [] tokens = value.toString().split(delimiter);
for (String token:tokens)
   context.write(token,one);

Как настроить этот параметр конфигурации.

Я изучал этот пример: https://github.com/wpm/Hadoop-Word-Count/blob/master/src/test/java/wpmcn/hadoop/WordCountTest.java

Спасибо


hadoop mrunit
person frazman    schedule 26.10.2013    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Используйте MapDriver.withConfiguration

 Configuration conf = new Configuration();
 conf.set("delimiter", someValue);
 myMapDriver.withConfiguration(conf);
person John B    schedule 27.10.2013
comment
withConfiguration теперь устарело в новой версии. - person Gyanendra Dwivedi; 23.11.2016

arrow_upward
1
arrow_downward

У меня была аналогичная проблема, и я решил ее, как указано в приведенном ниже коде.

mapDriver.withInput(key, value);
mapDriver.getConfiguration().set("my.config.param", "my.config.param.value");
.....
.....
mapDriver.run();

Обратите внимание, что mapDriver.getContext().getConfiguration может не работать в этом случае, потому что объект контекста является фиктивным объектом в API.

person Gyanendra Dwivedi    schedule 23.11.2016