Ошибка при выполнении абзацев Zeppelin в Spark на кластере Linux в Azure HdInsight

Я следовал этому руководству для настройки Zeppelin в кластере Spark (версия 1.5.2) в HDInsight в Linux. Все работало нормально, мне удалось успешно подключиться к ноутбуку Zeppelin через туннель SSH. Однако, когда я пытаюсь запустить любой абзац, в первый раз я получаю следующую ошибку:

java.io.IOException: нет файловой системы для схемы: wasb

После получения этой ошибки, если я попытаюсь перезапустить абзац, я получаю другую ошибку:

java.net.SocketException: сломанный канал на java.net.SocketOutputStream.socketWrite0 (собственный метод)

Эти ошибки возникают независимо от кода, который я ввожу, даже если нет ссылки на hdfs. Я говорю, что получаю ошибку «Нет файловой системы» даже для тривиального выражения Scala, такого как parallelize.

Отсутствует ли шаг конфигурации?


azure linux apache-spark azure-hdinsight apache-zeppelin
person The young wolf    schedule 08.01.2016    source источник
comment
Похоже, они обновили сценарий. Я только что попробовал обновленную версию, и она работала для моего кластера Spark 1.5.2.   -  person user1546806    schedule 12.01.2016
comment
Вы правы, они обновили скрипт, и он действительно работает. Благодарю вас!   -  person The young wolf    schedule 13.01.2016

Ответы (1)


arrow_upward
0
arrow_downward

Я загружаю tar-шар, на который вы указали сценарий, когда я печатаю. Но я предполагаю, что ваша установка zeppelin и установка spark не завершены для работы с wasb. Чтобы искра работала с wasb, вам нужно добавить несколько банок в путь к классу. Для этого вам нужно добавить что-то вроде этого в ваш spark-defaults.conf (в HDInsights пути могут быть другими, это из HDP на IaaS)

spark.driver.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar
spark.executor.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar

После того, как у вас есть искра, работающая с wasb, или следующим шагом будет создание той же самой банки в пути к классу zeppelin. Хороший способ проверить вашу настройку — создать блокнот, который печатает ваши env vars и путь к классам.

sys.env.foreach(println(_))

val cl = ClassLoader.getSystemClassLoader
cl.asInstanceOf[java.net.URLClassLoader].getURLs.foreach(println)

Также глядя на сценарий установки, он пытается вытащить банку zeppelin из wasb, вы можете изменить эту конфигурацию где-нибудь еще, пока вы пробуете некоторые из этих изменений. (цеппелин.ш)

export SPARK_YARN_JAR=wasb:///apps/zeppelin/zeppelin-spark-0.5.5-SNAPSHOT.jar

Я надеюсь, что это поможет, если у вас все еще есть проблемы, у меня есть несколько других идей, но сначала я начну с этих.

person lockwobr    schedule 08.01.2016
comment
Благодарю за ваш ответ. Я попробовал ваши шаги, но, к сожалению, мне не удалось запустить его. У меня все еще есть те же ошибки. Однако казалось, что проблема была из-за сценария, указанного в руководстве, который был для другой версии искры (1.5.1). Обновили скрипт и теперь все работает как надо. - person The young wolf; 13.01.2016