Версия Zeppelin 0.7.2 не поддерживает spark 2.2.0

Как понизить версию искры? Какие могут быть другие решения? Мне нужно подключить свои таблицы улья к искре, используя сеанс искры. Но искровая версия не поддерживается цеппелином.


apache-spark hive apache-zeppelin livy
person SHWETA WIN    schedule 21.08.2017    source источник
comment
какие версии Spark и Zeppelin вы используете? Для понижения версии Spark вам потребуется просто получить пакет и обновить путь. Проверьте наличие других зависимостей при понижении версии spark.   -  person swamoch    schedule 21.08.2017

Ответы (2)


arrow_upward
1
arrow_downward

Вот 2 причины.

[1] Zeppelin 0.7.2 пометил spark 2.2+ как неподдерживаемую версию.

https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/org/apache/zeppelin/spark/SparkVersion.java#L40

public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARKJAVA_HOME2_0;

[2] Даже если вы измените константу и выполните сборку заново, вы можете не запустить Zeppelin 0.7.2 со Spark 2.2

Spark прекратил поддержку Java 7, а Zeppelin 0.7.2 был собран с JDK 7. Поэтому вам нужно пересобрать его с JDK 8.

Вы можете использовать один обходной путь, указав JAVA_HOME в интерпретаторе искры (для 2.2), как прокомментировано здесь

Это работает, потому что только интерпретатор искры (для 2.2) требует java 8, а Zeppelin не нуждается в этом.

Короче говоря

  1. Измените здесь и пересоберите, если хотите запустить 2.2 на ветке Zeppelin-0.7
  2. И используйте JDK 8 для интерпретатора искры.
person 1ambda    schedule 21.08.2017
comment
Не могли бы вы объяснить, каков обходной путь? Я скачал zeppelin all 0.7.2 и получаю сообщение об ошибке: Spark 2.2.0 не поддерживается их учебным пособием (разочаровывает!). Apache Zeppelin официально поддерживает Oracle JDK 1.7, а у меня 1.8. На картинке, которую вы связали, JAVA_HOME указывает на какой-то каталог (не существующий на моей машине) в jdk 1.8. - person aless80; 21.09.2017
comment
Привет, 0.7.3, который поддерживает искру 2.2, будет выпущен через несколько дней. Я думаю, вы можете использовать его. - person 1ambda; 21.09.2017
comment
спасибо, в таком случае я буду ждать этого релиза, потому что это сводит меня с ума. Это определенно не очень хороший пользовательский опыт, когда учебник по цеппелину не может быть запущен. - person aless80; 21.09.2017
comment
0.7.2 имеет встроенную поддержку 2.1, а не 2.2, поэтому вы можете запустить учебник (я проверил его с 0.7.2 bin-all) github.com/apache/zeppelin/blob/v0.7.2/spark-dependencies/ - person 1ambda; 21.09.2017
comment
Вышеупомянутый вопрос касается пользовательской искры, а не встроенной. - person 1ambda; 21.09.2017

arrow_upward
0
arrow_downward

Версия Zeppelin 0.7.2 поддерживает spark 2.1.0.

person Abir Chokraborty    schedule 29.08.2017