Я пытаюсь сохранить фрейм данных в виде CSV-файла, разделенного столбцом.
val schema = new StructType(
Array(
StructField("ID",IntegerType,true),
StructField("State",StringType,true),
StructField("Age",IntegerType,true)
)
)
val df = sqlContext.read.format("com.databricks.spark.csv")
.options(Map("path" -> filePath).schema(schema).load()
df.write.partitionBy("State").format("com.databricks.spark.csv").save(outputPath)
Но вывод не сохраняется ни с какой информацией о разделе. Похоже, что partitionBy был полностью проигнорирован. Ошибок не было. Это работает, если я попробую то же самое с форматом паркета.
df.write.partitionBy("State").parquet(outputPath)
Что мне здесь не хватает?