Оболочка для запуска StreamSets Pipeline

Я хочу подключиться к Control Hub и запустить конкретный StreamSets конвейер с помощью сценария оболочки.


shell scripting streamsets
person Syed Safdar Abbas Rizvi    schedule 17.03.2020    source источник
comment
Добро пожаловать в Stack Overflow. С этим вопросом есть две проблемы (по крайней мере): 1. Не совсем понятно, что такое концентратор управления и StreamSets (в теге нет информации, которая могла бы помочь тем из нас, кто не сталкивался с этой технологией, а это не так). т ваша вина). 2. Непонятно, с какой трудностью вы столкнулись. Если вы хотите написать сценарий оболочки, сделайте это. Какие команды предоставляются StreamSets для поддержки этого? Вы, вероятно, должны показать, что вы пробовали. Возможно, вы могли бы / должны предоставить ссылки на документацию, которую вы используете. Пожалуйста, прочитайте О и Как спросить страницы.   -  person Jonathan Leffler    schedule 17.03.2020
comment
Кроме того, вам может быть лучше спросить в сообществе StreamSets — есть несколько вариантов, включая специальный сайт вопросов и ответов: streamsets.com /сообщество   -  person metadaddy    schedule 18.03.2020

Ответы (1)


arrow_upward
1
arrow_downward

В веб-интерфейсе StreamSets Control Hub нажмите RESTful API, а затем Job Runner. Вы увидите инструкции по аутентификации из командной строки с использованием curl. Прокрутите вниз, и вы увидите API для запуска задания с учетом идентификатора задания.

Собрав их вместе, вам нужно будет сделать что-то вроде:

# login to Control Hub security app
curl -X POST -d '{"userName":"SCHUserID", "password": "SCHUserPassword"}' \
https://cloud.streamsets.com/security/public-rest/v1/authentication/login \
--header "Content-Type:application/json" --header "X-Requested-By:SCH" \
-c cookie.txt

# generate auth token from security app
sessionToken=$(cat cookie.txt | grep SSO | rev | grep -o '^\S*' | rev)
echo "Generated session token : $sessionToken"

# Start a job using the auth token
curl -X GET https://cloud.streamsets.com/jobrunner/rest/v1/job/{jobId}/start \
--header "Content-Type:application/json" --header "X-Requested-By:SCH" \
--header "X-SS-REST-CALL:true" --header "X-SS-User-Auth-Token:$sessionToken" \
-i
person metadaddy    schedule 18.03.2020