Как преобразовать вызов Livy curl в вызов Livy Rest API

Я начинаю с Livy, в моих настройках Livy-сервер работает на машине Unix, и я могу выполнить curl для него и выполнить задание. Я создал толстую банку и загрузил ее на hdfs, и я просто вызываю ее основной метод из Livy. Моя полезная нагрузка Json для Ливи выглядит так:

{
"file" : "hdfs:///user/data/restcheck/spark_job_2.11-3.0.0-RC1-
SNAPSHOT.jar",
"proxyUser" : "test_user",
"className" : "com.local.test.spark.pipeline.path.LivyTest",
"files" : ["hdfs:///user/data/restcheck/hivesite.xml","hdfs:///user/data/restcheck/log4j.properties"],
"driverMemory" : "5G",
"executorMemory" : "10G",
"executorCores" : 5,
"numExecutors" : 10,
"queue" : "user.queue",
"name"  : "LivySampleTest2",
"conf" : {"spark.master" : "yarn","spark.executor.extraClassPath" : 
"/etc/hbase/conf/","spark.executor.extraJavaOptions" : "-Dlog4j.configuration=file:log4j.properties","spark.driver.extraJavaOptions" : "-Dlog4j.configuration=file:log4j.properties","spark.ui.port" : 4100,"spark.port.maxRetries" : 100,"JAVA_HOME" : "/usr/java/jdk1.8.0_60","HADOOP_CONF_DIR" : 
"/etc/hadoop/conf:/etc/hive/conf:/etc/hbase/conf","HIVE_CONF_DIR" : 
"/etc/hive/conf"}
}

и ниже мой призыв к завитку:

curl -X POST --negotiate -u:"test_user" --data @/user/data/Livy/SampleFile.json  -H "Content-Type: application/json" https://livyhost:8998/batches

Я пытаюсь преобразовать этот вызов API REST и следую _ 3_ пример предоставлен Cloudera, но не смог скрыть мой вызов curl в REST API. У меня есть все банки, уже добавленные в HDFS, поэтому я не думаю, что мне нужно выполнять вызов загрузки.


apache-spark scala livy
person Explorer    schedule 01.10.2019    source источник
comment
поделитесь, какое исключение вы получаете?   -  person dassum    schedule 02.10.2019

Ответы (1)


arrow_upward
0
arrow_downward

Он также должен работать с завитком

Пожалуйста, попробуйте следующий JSON.

curl -H "Content-Type: application/json" https://livyhost:8998/batches
 -X POST --data '{
  "name" : "LivyREST",
  "className" :  "com.local.test.spark.pipeline.path.LivyTest",
  "file"  : "/user/data/restcheck/spark_job_2.11-3.0.0-RC1-
SNAPSHOT.jar"
}'

Также добавляю еще несколько ссылок

http://gethue.com/how-to-use-the-livy-spark-rest-job-server-api-for-submitting-batch-jar-python-and-streaming-spark-jobs/

person dassum    schedule 02.10.2019
comment
Он отлично работает с Curl, однако мне нужно отправить его из JVM сейчас, и я хотел узнать, как скрыть этот вызов curl для вызова отдыха из JVM. - person Explorer; 03.10.2019