Как установить --master, --deploy-mode, --driver-class-path и --driver-java-options через Apache Livy?

Я хочу установить master, spark deploy-mode, путь к классу драйвера и параметры драйвера java для задания Spark, когда задание запускается через Apache Livy без перезапуска сервера Livy при изменении этих параметров. Как это сделать, если в Ливии нет прямых вариантов сделать это?


apache-spark livy
person Sarthak Singhal    schedule 06.05.2018    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Ливи не принимает master и deploy-mode в качестве параметра в вызове REST. Эти значения будут взяты из livy.conf, которые будут выглядеть примерно так:

livy.spark.master = yarn
livy.spark.deploy-mode = cluster

В приведенной выше конфигурации упоминается, что мастер — yarn, а режим развертывания — cluster. spark.driver.extraClassPath и spark.driver.extraJavaOption можно установить через livy с помощью параметра conf.

Пример:

"conf":{ "spark.driver.extraClassPath":"<YOUR_EXTRA_CLASSPATH>",
         "spark.executor.extraJavaOptions":"-Dlog4j.configuration=/app/log4j.properties"}
person Sivaprasanna Sethuraman    schedule 06.05.2018
comment
Согласно документации по этой ссылке , если вы установите extraClassPath и extraJavaOptions, JVM уже запущена, и это больше не имеет значения. - person Sarthak Singhal; 09.05.2018
comment
^ Кажется, они упомянули, что это для режима client - person Sivaprasanna Sethuraman; 10.05.2018
comment
Да. Я хочу создать экземпляр задания Spark в клиентском режиме через Livy. Требуется обходной путь, чтобы установить все упомянутые свойства для задания. - person Sarthak Singhal; 10.05.2018