Выходные результаты spark-submit

Я новичок в программировании spark и scala, я попытался запустить пример с spark-submit в локальном режиме, он выполняется без каких-либо ошибок или других сообщений, но я не вижу никакого результата вывода в веб-интерфейсе консула или истории искры. Где и как я могу увидеть результаты своей программы в spark-submit?

Это команда, которую я запускаю на искре

spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp  /spark-events --conf spark.eventLog.enabled=true  --conf   spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist  -b 8

а это скриншот с конца программы запуска


apache-spark scala spark-submit output
person mahzad.mah    schedule 26.04.2018    source источник

Ответы (3)


arrow_upward
2
arrow_downward

Вы также можете найти свой spark-defaults.conf (или spark-defaults.conf.template и скопировать его в spark-defaults.conf)

Создайте каталог регистрации (например, /tmp/spark-events/)

Добавьте эти 2 строки:

spark.eventLog.enabled           true
spark.eventLog.dir               file:///tmp/spark-events/

И беги sbin/start-history-server.sh

Чтобы все задания, запускаемые spark-submit, записывались в каталог событий и обзоры, доступные на сервере истории (http://localhost:18080/) => Веб-интерфейс, без сохранения работы искрового задания

Дополнительная информация: https://spark.apache.org/docs/latest/monitoring.html

PS: на Mac через homebrew это все в подкаталогах /usr/local/Cellar/apache-spark/[version]/libexec/

person Tom Lous    schedule 26.04.2018

arrow_upward
0
arrow_downward

Попробуйте добавить этот while(true) Thread.sleep(1000) в свой код, чтобы сервер работал, а затем проверьте задачу sparks в браузере. Обычно вы должны видеть, что ваше приложение работает.

person M-BNCH    schedule 26.04.2018

arrow_upward
0
arrow_downward

большое спасибо за ваш ответ, я уже сделал эти настройки в команде spark-submit, используя «--conf», и я могу видеть историю веб-интерфейса с помощью «spark-class org.apache.spark.deploy.history.HistoryServer», но я у меня нет доступа к "start-history-server.sh". Я вижу выполненные задачи и задания в веб-интерфейсе истории, я проверил все вкладки (задания, этапы, хранилище, исполнители) и нигде не нашел результатов вывода. может вы объясните мне, где результаты в веб-интерфейсе истории или даже в консуле? (Моя цель - числовые результаты в виде вывода набора данных, принятого в команде spark-submit)

скриншот из истории веб-интерфейса

С Уважением

person mahzad.mah    schedule 26.04.2018