Не удалось запустить SparkR в RStudio

Я думаю, что это была ошибка, которая теперь исправлена. Попробуйте следующее,

Sys.setenv(SPARK_HOME="C:\\spark-1.4.0")

.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))

library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is for windows environment.

library(SparkR)

sc=sparkR.init(master="local")

Запуск Java с помощью команды spark-submit C:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell

C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6

Надеюсь это поможет.

У меня была та же проблема, и мой файл spark-submit.cmd также не выполнялся из командной строки. Следующие шаги сработали для меня

Перейдите к переменным среды и в системных переменных выберите имя переменной PATH. Наряду с другими значениями добавьте c:/Windows/System32/ через точку с запятой. Это заставило мой spark-submit.cmd запускаться из командной строки и, в конечном итоге, из Rstudio.

Я понял, что мы получаем указанную выше проблему, только если не указаны все необходимые значения пути. Убедитесь, что все ваши значения пути (R, Rtools) указаны в переменных среды. Например, мой путь Rtools был c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Надеюсь, это поможет.

Это не сработало для меня. Если у кого-то возникла такая же проблема, попробуйте дать права на выполнение для c:/sparkpath/bin/spark-submit.cmd.

У меня была точно такая же проблема. Я могу запустить SparkR в командной строке, но не в RStudio в Windows. И вот решение работает для меня.

1. очистите все пути, которые вы установили, когда пытались решить эту проблему. Это включает в себя пути, которые вы установили в среде Windows из панели управления окнами, и использует Sys.unsetenv() для сброса SPARK_HOME.

2. узнайте свой рабочий каталог RStudio по умолчанию, используя getwd() в RStudio. Затем создайте файл .Rprofile в этом каталоге. Поместите в этот файл следующую строку: .libPaths("C:/Apache/Spark-1.5.1/R/lib")

3. В панели управления окна->Система->Дополнительные системные настройки->Переменные среды добавьте это «;C:\Apache\Spark-1.5.1\bin» в конец существующей переменной PATH.

4. Запустите RStudio, если вы наберете .libPaths(), вы увидите, что путь к библиотеке SparkR уже указан в пути к библиотеке.

5. используйте библиотеку (SparkR) для загрузки библиотеки SparkR

6. sc=sparkR.init(master="local")

Я пробовал это как на Spark 1.4.1, так и на 1.5.1, они оба работают нормально. Я надеюсь, что это может помочь тем, у кого все еще есть проблемы после всего вышеперечисленного.

У меня была аналогичная проблема. В моем случае проблема была с дефисом ('-').
путем изменения кода:

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11-1.4.0"))

to:

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11:1.4.0"))

работал на меня. Вы замечаете изменение?

P.S.: Скопируйте банку в папку SPARK_HOME\lib

Редактировать 1: Также убедитесь, что вы настроили свой «HADOOP_HOME»

Надеюсь, это поможет.

Следующее решение будет работать для Mac OS.

После установки Hadoop следует Spark.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

У меня тоже была эта ошибка, по другой причине. Под капотом Spark звонит

system2(sparkSubmitBin, combinedArgs, wait = F)

Есть много способов, как это может пойти не так. В моем случае основной ошибкой (невидимой до вызова system2 напрямую в качестве эксперимента) была «Путь UNC не поддерживается». Мне пришлось изменить свой рабочий каталог в R studio на каталог, который не был частью общего сетевого ресурса, а затем он начал работать.