Как передать конфигурацию от spark-submit до кластера пряжи?

Мне интересно, есть ли способ для spark-submit временно изменить конфигурацию задания пряжи?

Вопрос в том, что наш сервер истории кластера Spark поверх пряжи разрешает доступ только администратору, что неудобно для пользователя, чтобы получить журнал своей работы. Я узнал, что «mapreduce.job.acl-view-job» в mapreduce-default.xml может изменять ACL для конкретной работы. Поскольку я использую spark-submit для запуска задания, а "--conf" зарезервирован для самой искры, но как я могу установить конфигурацию пряжи из командной строки вместе с приложением?


person user3593261    schedule 18.05.2018    source источник


Ответы (1)


Вы можете изменить конфигурацию Spark Hadoop (полученную через SparkContaxt.hadoopConfiguration), добавив --conf с префиксом spark.hadoop..

В вашем примере это будет

spark-submit --conf spark.hadoop.mapreduce.job.acl-view-job=YOUR_ACL_STATEMENT ...
person botchniaque    schedule 19.05.2018