Я развертываю приложение spark через автономный кластер. У меня есть один мастер и 2 ведомых.
Я тестирую свой кластер. У меня приложение .jar копируется везде в одном и том же месте.
Я заметил следующую проблему:
на мастере
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
Исключение в потоке «основной» java.net.BindException: невозможно назначить запрошенный адрес: служба «Драйвер» не удалась после 16 попыток! Попробуйте явно указать соответствующий порт для службы «Драйвер» (например, spark.ui.port для SparkUI) на доступный порт или увеличить spark.port.maxRetries.
на подчиненном устройстве1
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
Работа выполняется
на подчиненном устройстве2
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
Работа выполняется
Но я отправляю более одного задания на подчиненное устройство, выполняется только первое задание.
На мастере
bin/spark-submit ******.jar --class ******
Выполнение задания занимает полные ресурсы на обоих ведомых устройствах и не учитывает оставшиеся параметры.
Однако, если я помещу банку в конец команды, возникнут вышеупомянутые первые 3 сценария.
Я выполнил настройку кластера, используя http://spark.praveendeshmane.co.in/spark/spark-1-6-1-cluster-mode-installation-on-ubuntu-14-04.jsp на AWS ec2 экземпляры.
Я хочу выполнять несколько заданий одновременно.
