Сохранение файла CSV с помощью partitionBy в Spark

Я пытаюсь сохранить фрейм данных в виде CSV-файла, разделенного столбцом.

val schema = new StructType(
      Array(
        StructField("ID",IntegerType,true),
        StructField("State",StringType,true),
        StructField("Age",IntegerType,true)
      )
)

val df = sqlContext.read.format("com.databricks.spark.csv")
        .options(Map("path" -> filePath).schema(schema).load()

df.write.partitionBy("State").format("com.databricks.spark.csv").save(outputPath)

Но вывод не сохраняется ни с какой информацией о разделе. Похоже, что partitionBy был полностью проигнорирован. Ошибок не было. Это работает, если я попробую то же самое с форматом паркета.

df.write.partitionBy("State").parquet(outputPath)

Что мне здесь не хватает?


person Cheeko    schedule 09.02.2016    source источник


Ответы (1)