Я работаю над отправкой задания Spark с использованием метода POST пакетов Apache Livy.
Этот HTTP-запрос отправляется с помощью AirFlow. После отправки работы я отслеживаю статус, используя пакетный идентификатор.
Я хочу отображать журналы драйвера (клиентские журналы) в журналах Air Flow, чтобы не заходить в несколько мест AirFLow и Apache Livy / Resource Manager.
Возможно ли это сделать с помощью API REST Apache Livy?
У Ливи есть конечная точка для получения журналов /sessions/{sessionId}/log & /batches/{batchId}/log.
Документация:
Вы можете создавать функции Python, подобные показанной ниже, для получения журналов:
http = HttpHook("GET", http_conn_id=http_conn_id)
def _http_rest_call(self, method, endpoint, data=None, headers=None, extra_options=None):
if not extra_options:
extra_options = {}
self.http.method = method
response = http.run(endpoint, json.dumps(data), headers, extra_options=extra_options)
return response
def _get_batch_session_logs(self, batch_id):
method = "GET"
endpoint = "batches/" + str(batch_id) + "/log"
response = self._http_rest_call(method=method, endpoint=endpoint)
# return response.json()
return response
Ливи предоставляет REST API двумя способами: сессионным и пакетным. В вашем случае, поскольку мы предполагаем, что вы не используете сеанс, вы отправляете с использованием пакетов. Вы можете опубликовать свою партию, используя команду curl:
curl http://livy-server-IP:8998/batches
После того, как вы отправите задание, вы получите взамен идентификатор партии. Затем вы можете завить с помощью команды:
curl http://livy-server-IP:8998/batches/ {batchId} / бревно
Вы можете найти документацию по адресу: https://livy.incubator.apache.org/docs/latest/rest-api.html
Если вы хотите избежать описанных выше шагов, вы можете использовать готовый AMI (а именно, LightningFLow) из AWS Marketplace, который предоставляет Airflow настраиваемый оператор Livy. Оператор Livy отправляет и отслеживает статус задания каждые 30 секунд (настраивается), а также предоставляет журналы искр в конце задания искры в журналах пользовательского интерфейса Airflow.
Примечание. LightningFlow предварительно интегрирован со всеми необходимыми библиотеками, Livy, пользовательскими операторами и локальным кластером Spark.
Ссылка для AWS Marketplace: https://aws.amazon.com/marketplace/pp/Lightning-Analytics-Inc-LightningFlow-Integrated-o/B084BSD66V
Это позволит вам просматривать консолидированные журналы в одном месте, вместо того, чтобы переключаться между журналами Airflow и EMR / Spark (Ambari / Resource Manager).
