AttributeError: объект 'NoneType' не имеет атрибута 'запись в Pyspark

Spark: 2.4.4 Pyspark

Я зарегистрировал временную таблицу и пытаюсь сохранить вывод в файл csv. но появляется ошибка: «AttributeError: объект 'NoneType' не имеет атрибута 'write'»

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data").show(truncate = False)

output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")

пожалуйста помоги


apache-spark pyspark pyspark-dataframes pyspark-sql
person Sophie Dinka    schedule 26.09.2019    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Вы назначаете результат show () переменной output, а show () не возвращает значение.

Итак, вы хотите назначить Dataframe переменной output, а затем сохранить его следующим образом:

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data")
output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")
person PRZU    schedule 26.09.2019