Не могли бы вы помочь мне найти Java API для переразбиения sales набора данных на N фрагментов одинакового размера? Под одинаковым размером я подразумеваю равное количество строк.
Dataset<Row> sales = sparkSession.read().parquet(salesPath);
sales.toJavaRDD().partitions().size(); // returns 1
Пользовательские разделители AFAIK не поддерживаются для наборов данных. Вся идея API-интерфейсов Dataset и Dataframe в Spark 2+ заключается в том, чтобы абстрагироваться от необходимости вмешиваться в пользовательские разделители. И поэтому, если мы столкнемся с необходимостью иметь дело с искажением данных и придем к точке, где пользовательский разделитель является единственным вариантом, я думаю, мы перейдем к манипулированию RDD более низкого уровня.
Например: Исследование примера использования Facebook и саммит Spark обсуждение, связанное с примерами использования
Для определения разделителей для RDD это хорошо задокументировано в Документация по API
