Мне было интересно, есть ли способ отключить перетасовку/сортировку на этапе карты задания? Моя работа не требует фазы сокращения, поэтому мне не нужны перемешивание и сортировка.
Я использую Hadoop версии 2.2.0
Спасибо
Hadoop V2: отключить перемешивание/сортировку?
comment
См. также stackoverflow. ком/вопросы/9074910/
- person Alexander Gessler schedule 14.07.2014
Ответы (1)
Вы можете установить для NumReduceTask значение 0, которое просто сопоставит данные без перетасовки и сортировки.
person
Ajay Gupta
schedule
15.07.2014
Спасибо. Просто, чтобы помочь другим людям, пришедшим на почту. Вы устанавливаете количество задач сокращения на ноль, вызывая
yourJob.setNumReduceTask(0); в своем основном методе задания MR.
- person Mo.; 15.07.2014
Фактически означает ли это, что каждое задание будет обращаться только к локальным данным? Я пытаюсь ответить на этот вопрос.
- person blong; 03.08.2015
