Как собрать zeppelin 0.8.0 со встроенным Spark 2.3.2

Я хочу собрать zeppelin 0.8.0 со встроенной Spark 2.3.2 и запустить его с той же версией искры, работающей не локально, без установки SPARK_HOME, чтобы мне не требовалось устанавливать SPARK в узле zeppelin. Я пробовал параметры сборки, указанные в документе https://zeppelin.apache.org/docs/0.8.0/setup/basics/how_to_build.html, но сборка не выполняется для scala 2.10.

Возможно ли это даже с версией 0.8.0?

Таким образом, вы можете создать моментальный снимок 0.8.1 с помощью Spark 2.3.2. Но, однако, вы не можете подключиться к внешнему узлу искры, используя встроенные двоичные файлы искры, не выполнив отдельную установку искры с помощью SPARK_HOME.


apache-zeppelin apache-spark-2.3
person AlphaWolf    schedule 16.01.2019    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вы можете объединить код из этого запроса на вытягивание, и тогда профиль spark-2.3 будет построен с spark 2.3.2 и не выйдет из строя с ошибкой scala 2.10.

Или дождитесь 0.8.1 (первый кандидат был отмечен сегодня!)

person florpor    schedule 16.01.2019
comment
Я получил сборку с помощью тега кандидата 0.8.1, но теперь я столкнулся с проблемой, когда я не могу использовать встроенные двоичные файлы искры для разговора с нелокальным нодом искры. - person AlphaWolf; 17.01.2019
comment
Я отслеживал изменение функции setupPropertiesForSparkR в SparkInterpreterLauncher.java, которой не было в предыдущих сборках - person AlphaWolf; 17.01.2019