Можем ли мы извлечь запросы, которые выполнялись в кусте, с помощью метаданных

По сути, мне нужны метаданные запросов, которые выполнялись в улье за ​​один день. Я просмотрел метаданные, которые предоставляет hive в MySql. Но не удалось найти какую-либо таблицу, в которой хранится информация, связанная с запросом.


hive hive-metastore
person Pash0002    schedule 10.02.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Проведя небольшое исследование, мы обнаружили, что мы можем извлекать задания MapReduce с помощью REST API History Server для Hadoop.

И отсюда вы получите информацию о работе.

Чтобы получить запрос, вам нужен запрос на конкретную работу.

‹history_server_http_address: порт› / ws / v1 / history / mapreduce / jobs / ‹JOB_ID› / conf

Отсюда вы получите все конфиги. Для запроса вам нужно посмотреть hive.query.string

https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/HistoryServerRest.html#History_Server_REST_APIs.

Мы также можем извлечь JSON задания и конфигурацию этого задания в XML из местоположения hdfs. Для этого вам потребуется значение свойства mapreduce.jobhistory.done-dir.

Затем вы запускаете команду hdfs get для получения данных.

hdfs dfs -get <resource-manager-path>/<year-dir>/<month-dir>/<day-dir>  <destination-local-dir>

person Pash0002    schedule 25.02.2021