записать кадр данных pyspark в csv без внешних кавычек

У меня есть кадр данных с одним столбцом, как показано ниже. Я использую pyspark версии 2.3 для записи в csv.

18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28
18391310-bc74-11e5-9049-005056b996a7,37,0,48,25,72,28,24,44,31,52,27,30,4

По умолчанию вывод для кода

df.select('RESULT').write.csv(path)

"18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28"
"18391310-bc74-11e5-9049-005056b996a7,37,0,48,25,72,28,24,44,31,52,27,30,4"

Как удалить внешние кавычки? Я пробовал option('quoteAll','false') и option('quote',None), которые не работали.


python apache-spark pyspark dataframe apache-spark-2.3
person kavya    schedule 16.02.2021    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Вы можете попробовать написать с разделителем |. По умолчанию используется ,, что противоречит вашему контенту, содержащему запятые.

df.select('RESULT').write.csv(path, sep="|")
person mck    schedule 16.02.2021

arrow_upward
0
arrow_downward

Вы также можете использовать spark.write.text:

df.select('RESULT').write.text(path)
person blackbishop    schedule 16.02.2021