Какая польза от компаратора группировки в карте Hadoop?

В поддержку выбранного ответа добавляю:

Следуя это объяснение

**Input**:

    symbol time price
    a      1    10
    a      2    20
    b      3    30

**Map output**: create composite key\values like so:

> symbol-time time-price
>
>**a-1**         1-10
>
>**a-2**         2-20
>
>**b-3**         3-30

Разделитель: направит ключи a-1 и a-2 на один и тот же редюсер, несмотря на то, что ключи разные. Он также направит b-3 на отдельный редуктор.

GroupComparator: как только составные ключ\значение поступают на редуктор вместо того, чтобы редьюсер получал

>(**a-1**,{1-10})
>
>(**a-2**,{2-20})

вышеупомянутое произойдет из-за уникальных значений ключа, следующих за композицией.

групповой компаратор гарантирует, что редуктор получит:

(a-1,{**1-10,2-20**})

Ключом сгруппированных значений будет тот, который стоит первым в группе. Это можно контролировать с помощью Key Comparator.

**[[In a single reduce method call.]]**

Позвольте мне улучшить утверждение «... позаботьтесь о выходных ключах карты, идущих к конкретному редьюсеру».

Экземпляр редуктора против метода уменьшения: для каждой задачи уменьшения создается одна JVM, и каждая из них имеет один экземпляр класса редуктора. Это экземпляр редуктора (теперь я называю его редуктором). в «группировке ключей». Каждый раз, когда вызывается сокращение, «valuein» имеет список выходных значений карты, сгруппированных по ключу, который вы определяете в «компараторе группировки». По умолчанию компаратор группировки использует весь выходной ключ карты.

В этом примере ключ вывода карты изменен на «год и температура» для сортировки. Если вы не определите компаратор группировки, который использует только часть «год» ключа вывода карты, вы не сможете сделать все записи одного и того же года. перейти к тому же вызову метода сокращения.

Вам нужно ввести промежуточный ключ, который представляет собой комбинацию года и температуры; разбить по естественному ключу (год) и ввести компаратор, который будет сортировать по всему составному ключу. Вы правы в том, что, разбивая по годам, вы получите все данные за год в одном редукторе, поэтому компаратор будет эффективно сортировать данные за каждый год по температуре.

Разделитель по умолчанию вычисляет хэш ключа, и те ключи, которые имеют одинаковое хеш-значение, будут отправлены одному и тому же редюсеру. Если у вас есть составной (естественный + дополнительный) ключ, созданный вашим картографом, и если вы хотите отправить ключи с одним и тем же естественным ключом на один и тот же редуктор, вам необходимо реализовать собственный разделитель.

public class SimplePartitioner implements Partitioner {
@Override
public int getPartition(Text compositeKey, LongWritable value, int numReduceTasks) {
    //Split the key into natural and augment
    String naturalKey = compositeKey.toString().split("separator")


    return naturalKey.hashCode();
}

}

И теперь, если вы хотите, чтобы все ваши соответствующие строки в разделе данных отправлялись в один редуктор, вы также должны реализовать компаратор группировки, который учитывает только естественный ключ.

public class SimpleGroupingComparator extends WritableComparator {

@Override
public int compare(Text compositeKey1, Text compositeKey2) {


return compare(compositeKey1.getNaturalKey(),compositeKey2.getNaturalKey());
}

}