Копировать данные в среду Spark

Я пытаюсь скопировать свои данные в Spark и получаю следующую ошибку

Ошибка в as.data.frame.default (x, stringsAsFactors = FALSE, row.names = FALSE,: не удается преобразовать структуру класса ("SparkDataFrame", package = "SparkR") "в data.frame

Я просмотрел документацию и не нашел ничего, что могло бы помочь

library(SparkR)
DF <- read.df("/FileStore/tables/export.csv", source = "csv", header="true", inferSchema = "true")

library(sparklyr)
library(dplyr)
sc <- spark_connect(method = "databricks")
#This gives the above error
DF_tbl <- sdf_copy_to(sc = sc, x = DF, overwrite = T)

r apache-spark azure-databricks sparkr sparklyr
person kcmox    schedule 29.04.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я не могу проверить это без доступа к export.csv, но проблема может возникнуть из-за смешивания функция SparkR (ie, read.df()) с sparklyr функции (т.е., spark_connect() и sdf_copy_to()).

Я предполагаю, что sparklyr::sdf_copy_to() не принимает объект класса SparkDataFrame SparkR.

Попробуйте заменить SparkR::read.df() чем-нибудь вроде readr::read_csv() или data.table::fread().

person wibeasley    schedule 29.04.2019