Ливи REST Spark java.io.FileNotFoundException:

Я новичок в BigData, я попытался вызвать искровые задания с помощью apache Livy. С командной строкой отправки работает нормально. с Ливи у меня есть исключение

  • # P2 #
    # P3 #

  • Ливи журналы:

2019-06-01 00:43:19,160 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" java.io.FileNotFoundException: File hdfs://localhost:9000/home/spark-2.4.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.3.jar does not exist. at org.apache.hadoop.hdfs.DistributedFileSystem.listStatusInternal(DistributedFileSystem.java:795) .......org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)


apache-spark pyspark hadoop livy
person EL missaoui habib    schedule 02.06.2019    source источник
comment
Существует ли банка, указанная в ошибке (и доступна ли она в указанном месте).   -  person Dennis Jaheruddin    schedule 03.06.2019
comment
да, jar существует и отправить выполнить: ./bin/spark-submit --class org.apache.spark.examples.SparkPi --conf spark.executor.cores = 2 examples / jars / spark-examples_2.11-2.4.3 .jar 100 2019-06-03 22: 55: 19,494 ПРЕДУПРЕЖДЕНИЕ util.NativeCodeLoader: Невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных классов java, где это применимо. Pi примерно равен 3,1418867141886713   -  person EL missaoui habib    schedule 04.06.2019
comment
Эта команда использует вашу локальную файловую систему, а не HDFS. Попробуйте hadoop fs -ls hdfs://localhost:9000/home/spark-2.4.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.3.jar увидеть то же исключение   -  person OneCricketeer    schedule 04.06.2019
comment
@ cricket_007 результат: Нет такого файла или каталога   -  person EL missaoui habib    schedule 05.06.2019
comment
Правильно ... Итак, вам нужно сделать hadoop fs -copyFromLocal, чтобы скопировать с вашего локального пути на этот путь HDFS (и, вероятно, сначала hadoop fs -mkdir /home)   -  person OneCricketeer    schedule 05.06.2019

Ответы (2)


arrow_upward
0
arrow_downward

связанный с комментарием @ cricket_007, разрешенным с помощью командной строки execute hadoop fs -copyFromLocal

person EL missaoui habib    schedule 26.06.2019

arrow_upward
0
arrow_downward

Если он находится на локальном компьютере, попробуйте использовать 'file':'local:<path/to/file>

person CHETAN RAJPUT    schedule 08.08.2019