Как я могу отправить банку с параметрами ключевого слова, используя livy?

Я использую livy(post/batches) для отправки jar с параметрами ключевого слова.

Например:

spark-sumbit \
    --class xxx \
    --master xxx \
    --conf xxx=aa \
    my_test.jar --arg1 <arg1> --arg2 <arg2>

Как я могу это сделать в livy(post/batches)? Ливи поддерживает это?


java apache-spark livy
person allinone    schedule 26.07.2019    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Вы можете следовать этому формату через POST

{ "file": "xxx.jar", "className": "xx", "args": ["xx"], "conf": { "spark.jars.packages": "com.amazonaws:aws-java -sdk-bundle:1.11.199,org.apache.hadoop:hadoop-aws:2.9.1, "spark.hadoop.fs.s3a.signing-algorithm": "S3SignerType", "spark.ui.port":" 4040", "spark.ui.proxyBase":"/hisparklivy", "spark.driver.memory": "4g", "spark.executor.memory": "8g", "spark.executor.cores": 5, "spark.dynamicAllocation.enabled": "false", "spark.cores.max": 25}

person kushal    schedule 26.07.2019
comment
Спасибо за ответ! Может я не ясно описал свою проблему. В старой версии my_test.jar я использую параметры местоположения. Он работал правильно после того, как я POST {..., "args": ["val1", "val2"],...}. Но в новой версии я использую параметры ключевого слова и POST {..., "args": ["--args1 val1", "--args2 val2"], ...}. Это оказалось не так. - person allinone; 26.07.2019
comment
После некоторых проб и ошибок я нашел правильный путь. Я должен опубликовать {..., "args": ["--args1", "val1", "--args2", "val2"], ...} , а не {..., "args": ["--args1 val1", "--args2 val2"], ...} - person allinone; 26.07.2019

arrow_upward
0
arrow_downward

У меня был опыт работы с livy, который привел меня сюда к stackoverflow, вам нужно вызвать ваши банки в команде curl, как объяснено здесь в этом ответе.

Если вы используете локальный jar, подумайте о переопределении «livy.file.local-dir-whitelist» в файле конфигурации livy.

person Ahmed Adnane A'mil    schedule 06.09.2019
comment
Пожалуйста, добавьте содержание ссылки к вашему ответу. - person mastisa; 06.09.2019
comment
уже есть ссылка, но если вы ее не видите, вот она " title="отправка заданий искры через livy с помощью curl"> stackoverflow.com/questions/57754668/ - person Ahmed Adnane A'mil; 06.09.2019