Мне интересно, есть ли способ для spark-submit временно изменить конфигурацию задания пряжи?
Вопрос в том, что наш сервер истории кластера Spark поверх пряжи разрешает доступ только администратору, что неудобно для пользователя, чтобы получить журнал своей работы. Я узнал, что «mapreduce.job.acl-view-job
» в mapreduce-default.xml может изменять ACL для конкретной работы. Поскольку я использую spark-submit
для запуска задания, а "--conf" зарезервирован для самой искры, но как я могу установить конфигурацию пряжи из командной строки вместе с приложением?