Сценарий:
Проблема:
Я построил свой искровой кластер, используя docker swarm, и
я также создам сервис для Ливи.
Может ли Ливи связаться с внешним мастером искры и отправить задание внешнему мастеру искры?
Если все в порядке, какую конфигурацию нужно выполнить?
Или Ливи надо установить на мастер-узел искры?
Я думаю, что немного поздно, но я надеюсь, что это вам поможет.
извините за мой английский, но я мексиканец, вы можете использовать докер для отправки заданий через livy, но также вы можете использовать livy для отправки заданий через Livy REST API.
Сервер livy может находиться за пределами кластера Spark, вам нужно только отправить файл конфигурации livy, который указывает на кластер Spark.
Похоже, вы используете автономный Spark, простой способ настроить livy для работы заключается в том, что livy живет на главном узле Spark, если у вас уже есть YARN на ваших кластерных машинах, вы можете установить livy на любой узел и запустить приложение Spark в yarn-cluster или пряжа-клиентский режим.
