У меня есть кластер, который я могу успешно запустить, по крайней мере, это то, что отображается в веб-интерфейсе, в котором я вижу эту информацию.
URL: spark://Name25:7077
REST URL: spark://Name25:6066 (cluster mode)
Alive Workers: 10
Cores in use: 192 Total, 0 Used
Memory in use: 364.0 GB Total, 0.0 B Used
Applications: 0 Running, 5 Completed
Drivers: 0 Running, 5 Completed
Status: ALIVE
Я использовал команду отправки для запуска своего приложения, если я использую ее таким образом
./bin/spark-submit --class myapp.Main --master spark://Name25:7077 --deploy-mode cluster /home/lookupjar/myapp-0.0.1-SNAPSHOT.jar /home/etud500.csv /home/
Я получаю это сообщение:
Запуск Spark с использованием протокола отправки приложений REST. Использование профиля log4j по умолчанию Spark: org / apache / spark / log4j-defaults.properties 16/08/31 15:55:16 ИНФОРМАЦИЯ RestSubmissionClient: отправка запроса на запуск приложения в spark: // Name25: 7077. 16/08/31 15:55:27 ПРЕДУПРЕЖДЕНИЕ RestSubmissionClient: невозможно подключиться к серверу spark: // Name25: 7077. Предупреждение: главная конечная точка spark: // Name25: 7077 не была сервером REST. Вместо этого отключаемся к устаревшему шлюзу отправки. 16/08/31 15:55:28 ПРЕДУПРЕЖДЕНИЕ NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных классов java, где это применимо
и если я использую его таким образом:
./bin/spark-submit --class myapp.Main --master spark://Name25:6066 --deploy-mode cluster /home/lookupjar/myapp-0.0.1-SNAPSHOT.jar /home//etud500.csv /home/result
Я получаю это сообщение
Запуск Spark с использованием протокола отправки приложений REST. Использование профиля log4j по умолчанию Spark: org / apache / spark / log4j-defaults.properties 16/08/31 16:59:06 ИНФОРМАЦИЯ RestSubmissionClient: отправка запроса на запуск приложения в spark: // Name25: 6066. 16/08/31 16:59:06 ИНФОРМАЦИЯ RestSubmissionClient: Отправка успешно создана как driver-20160831165906-0004. Состояние отправки опроса ... 16/08/31 16:59:06 INFO RestSubmissionClient: Отправка запроса на состояние отправки driver-20160831165906-0004 в spark: // Name25: 6066. 16/08/31 16:59:06 ИНФОРМАЦИЯ RestSubmissionClient: Состояние драйвера driver-20160831165906-0004 теперь РАБОТАЕТ. 16/08/31 16:59:06 ИНФОРМАЦИЯ RestSubmissionClient: Драйвер запущен на worker-20160831143117-10.0.10.48-38917 на рабочем столе worker-20160831143117-10.0.10.48-38917 в 10.0.10.48:38917. 16/08/31 16:59:06 ИНФОРМАЦИЯ RestSubmissionClient: Сервер ответил CreateSubmissionResponse: {"action": "CreateSubmissionResponse", "message": "Драйвер успешно отправлен как драйвер-20160831165906-0004", "serverSparkVersion": "2.0. 0 "," submissionId ":" driver-20160831165906-0004 "," success ": true}
Я думаю, что это успех, но мое приложение должно иметь 3 выхода по заданному пути (/ home / result), потому что я использовал в своем коде:
path =args [1];
rdd1.saveAsTextFile(path+"/rdd1");
rdd2.saveAsTextFile(path+"/rdd2");
rdd3.saveAsTextFile(path+"/rdd3");
Вопрос 1: Почему меня просят использовать «spark: // Name25: 6066», а не «spark: // Name25: 7077»? потому что согласно сайту Spark мы используем: 7077
Вопрос 2: Если это указывает на успешную отправку и завершение заявок, почему я не могу найти 3 выходных папки?
deploy-mode
какclient
. проверьте мастер искры в веб-интерфейсе.masterip:8080
- person Ravikumar   schedule 31.08.2016netstat -an | grep 7077
и попробовать отправить искру с--deploy-mode client
. - person Ravikumar   schedule 31.08.2016client
запускается искровый драйвер на машине, на которую вы отправляете искру, а в режимеcluster
можно запускать искровый драйвер на любом из узлов. Для получения дополнительной информации вы можете прочитать здесь. - person Ravikumar   schedule 31.08.2016