Цеппелин терпит неудачу; Класс UTF8String.class отличается в библиотеках Vora и Spark 1.5.2.

Установил Вора 1.1. Патч 1 для HDP 2.3 со Spark 1.5.2, для SLES 11 SP3. Это не совсем та конфигурация, что указана в Note 2213226, но шелл-версия Вора вроде нормально работает с тестом 2.7 Инструкции по установке (последняя не прописывала версии HDP в зависимости от версии ОС, поэтому я выбрал HDP2 .3 под SLES).

А вот с Цеппелином у меня проблемы. Установка github версии 0.5.6 кажется успешной, и я могу выполнить оператор «создать таблицу» в блокноте Zeppelin, но при выполнении оператора «показать таблицы» я получаю сообщение об ошибке:

Error: Job aborted due to stage failure: Task 0 in stage 12.0 failed 4 times, most recent failure: Lost task 0.3 in stage 12.0 (TID 36, eba156.extendtec.com.au): java.io.InvalidClassException: org.apache.spark.unsafe.types.UTF8String; local class incompatible: stream classdesc serialVersionUID = 7459647620003804432, local class serialVersionUID = 7786395165093970948 at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:621) at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1623) at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1518) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1774) at 
(blablabla)

Я считаю, что нашел причину, почему:

  • Класс UTF8String.class из библиотеки spark-sap-datasources-1.2.10-assembly.jar (и затем используемый Zeppelin) датирован 20 января и имеет размер 17919 байт.
  • Класс UTF8String.class, содержащийся в Spark 1.5.2. библиотека датирована 16 декабря и имеет размер 18653

Так что я предполагаю, что версии этих библиотек не совпадают. Как мне поступить? Спасибо!


apache-spark sap apache-zeppelin vora
person Roman    schedule 16.03.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

До Vora1.1 Patch 1 версия Spark 1.5.2, поставляемая с HDP2.3.4, официально не поддерживается (версия HDP-Spark1.5.2 немного отличается от версии Apache Spark1.5.2). Есть две известные проблемы с Thriftserver и Zeppelin. Самый простой обходной путь — установить Apache Spark 1.5.2 вне Ambari и не использовать версию HDP-Spark.

Начиная с версии Vora 1.2 (выпущенной 31 марта 2016 г.) обе проблемы с версией HDP-Spark 1.5.2 решены, и Vora полностью с ней совместима.

person Frank Legler    schedule 31.03.2016

arrow_upward
0
arrow_downward

Я скопировал упомянутый класс из «несвязанной» библиотеки Spark в комбинированную библиотеку spark-vora-zeppelin, перезаписав там класс. «ПОКАЗАТЬ ТАБЛИЦЫ» выполняется без проблем. Интересно, является ли это подходящим решением, но пока это сработало.

person Roman    schedule 17.03.2016