Существуют ли в R-Hadoop методы mapreduce, аналогичные setup() и cleanup() в Java mapreduce?

Существуют ли в R-Hadoop методы mapreduce, аналогичные setup() и cleanup() в Java mapreduce? Мне нужно запустить часть кода, такую ​​как вызов БД, только один раз, перед запуском всех редукторов. Есть ли какие-либо условия для этого при написании кода mapreduce с использованием R?


person Naaz    schedule 05.10.2015    source источник


Ответы (1)


Если вы про рмр2, то нет. Если бы вы подробно описали свой вариант использования, я мог бы попытаться придумать альтернативу или узнать что-то, даже если бы я потерпел неудачу. Я предполагаю, что этот доступ к БД должен происходить между картой и уменьшением, но важно понимать, зависит ли операция БД от вывода фазы карты и зависит ли фаза уменьшения от результата операции БД. По моему опыту, это довольно уникальное требование, и мне кажется, что вам нужно решить его с помощью двух заданий, только одной карты и только одного сокращения.

person piccolbo    schedule 05.10.2015