Я понимаю, что когда таблица куста сгруппирована по одному столбцу, она выполняет хэш-функцию этого столбца с сегментами, а затем помещает эту строку данных в один из сегментов. И на каждый бакет свой файл т.е. если бакетов 32 то и в hdfs 32 файла.
Что означает кластеризация по более чем одному столбцу? Например, предположим, что таблица СКЛАДИРОВАНА ПО (континент, страна) В 32 ВЕДРА.
Как будет выполняться хэш-функция, если столбцов больше одного?
Сколько файлов будет создано? Это все еще 32?
Надеюсь, поможет!!
Как правило, номер корзины определяется выражением hash_function(bucketing_column) mod num_buckets. (Там тоже есть '0x7FFFFFFFF, но это не так важно). Функция hash_function зависит от типа столбца сегментации. Для int это просто: hash_int(i) == i. Например, если бы user_id был int и было 10 сегментов, мы ожидали бы, что все user_id, которые заканчиваются на 0, будут в сегменте 1, все user_id, которые заканчиваются на 1, будут в сегменте 2 и т. д. Для других типов данных это немного сложно. В частности, хэш BIGINT не совпадает с BIGINT. И хеш строки или сложного типа данных будет каким-то числом, полученным из значения, но не чем-то распознаваемым человеком. Например, если бы user_id был STRING, то user_id в корзине 1, вероятно, не оканчивался бы на 0. В целом, распределение строк на основе хэша даст вам равномерное распределение в корзинах.
ссылка: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables
