Доставка пакетов R на узлы в SparkR

Привет, мне интересно, есть ли решение для отправки пакетов R с spark-submit и использования их на вычислительных узлах в SparkR?


r apache-spark sparkr hadoop2
person zoltanctoth    schedule 17.09.2015    source источник
comment
Вам нужно будет установить их с помощью системы управления конфигурацией, которая позволяет вам определять состояние вашей ИТ-инфраструктуры, а затем автоматически обеспечивает правильное состояние, например, марионетку или шеф-повара.   -  person eliasah    schedule 17.09.2015
comment
Это действительно возможно, поскольку zip-пакеты R можно установить через install.packages("<package name>, repos=NULL), а zip-файлы будут отправлены в кеш YARN (который является рабочим каталогом или SparkR). Я не смог найти очень простой метод, поэтому, надеюсь, кто-то придет с ответом;)   -  person zoltanctoth    schedule 19.09.2015

Ответы (1)


arrow_upward
0
arrow_downward

Заархивируйте содержимое пакета R и отправьте его как my_package.zip в кластер, т. е. с помощью команды spark-submit. Это поместит zip-файл в рабочий каталог сценария SparkR.

Затем вы можете установить пакет в своем R-скрипте:

 install.packages("my_package.zip",repos=NULL)
 library(my_package)

ОТКЛОНЕНИЕ ОТ ОТВЕТСТВЕННОСТИ. Если ваш пакет зависит от других пакетов, вам потребуется отправить и установить их вручную.

person zoltanctoth    schedule 19.09.2015
comment
не могли бы вы взглянуть на мой вопрос stackoverflow.com/questions/36001256/ - person 宇宙人; 15.03.2016