Spark с Java — ошибка: невозможно загрузить основной класс из JAR

Я пробую простую программу машинного обучения рекомендаций фильмов в искре. Версия Spark: 2.1.1 Версия Java: java 8 Версия Scala: версия Scala code runner 2.11.7 Env: windows 7

Выполнение этих команд для запуска основных и рабочих подчиненных устройств

//start master
spark-class org.apache.spark.deploy.master.Master

//start worker
spark-class org.apache.spark.deploy.worker.Worker spark://valid ip:7077

Я пробую очень простой код рекомендации фильмов отсюда: http://blogs.quovantis.com/recommendation-engine-using-apache-spark/

Я обновил код до:

SparkConf conf = new SparkConf().setAppName("Collaborative Filtering Example").setMaster("spark://valid ip:7077");
conf.setJars(new String[] {"C:\\Spark2.1.1\\spark-2.1.1-bin-hadoop2.7\\jars\\spark-mllib_2.11-2.1.1.jar"});

Я не могу запустить это через intelliJ. Запуск mvn clean install и копирование jar в папку не работает. Команда, которую я использовал для запуска:

bin\spark-submit --verbose –-jars jars\spark-mllib_2.11-2.1.1.jar –-class “com.abc.enterprise.RecommendationEngine” –-master spark://valid ip:7077 C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\spark-poc-1.0-SNAPSHOT.jar C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\ratings.csv C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\movies.csv 10

Я вижу ошибку:

C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7>bin\spark-submit --verbose --class "com.sandc.enterprise.RecommendationEngine" --master spark://10.64.98.101:7077 C:\Spark2.1.1\spark-2.1.1-
bin-hadoop2.7\spark-mllib-example\spark-poc-1.0-SNAPSHOT.jar C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\ratings.csv C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-m
llib-example\movies.csv 10
Using properties file: C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\bin\..\conf\spark-defaults.conf
Adding default property: spark.serializer=org.apache.spark.serializer.KryoSerializer
Adding default property: spark.executor.extraJavaOptions=-XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
Adding default property: spark.eventLog.enabled=true
Adding default property: spark.driver.memory=5g
Adding default property: spark.master=spark://valid ip:7077
Error: Cannot load main class from JAR file:/C:/Spark2.1.1/spark-2.1.1-bin-hadoop2.7/û-class
Run with --help for usage help or --verbose for debug output

Если я даю команду --jar, она выдает ошибку:

Error: Cannot load main class from JAR file:/C:/Spark2.1.1/spark-2.1.1-bin-hadoop2.7/û-jars

Любые идеи, как я могу отправить эту работу на искру ??


person user1860447    schedule 22.06.2017    source источник


Ответы (1)


Правильно ли построен ваш Jar? Также вам не нужно добавлять двойные кавычки для значения параметра --class.

person Anand    schedule 22.06.2017
comment
Он имеет двойные кавычки для параметра --class. Я также пытался создать банку следующим образом: сборка mvn clean package: single Но не повезло. - person user1860447; 22.06.2017