Журналы для запроса куста, выполненного через. Билайн

я работаю под ульем, команда от билайн. Может кто-нибудь сказать, где я могу увидеть журналы Map reudce для этого?

0: jdbc:hive2://<servername>:10003/> select a.offr_id offerID , a.offr_nm  offerNm  , b.disp_strt_ts  dispStartDt , b.disp_end_ts dispEndDt , vld_strt_ts validStartDt, vld_end_ts validEndDt from gcor_offr a, gcor_offr_dur b where a.offr_id = b.offr_id and b.disp_end_ts > '2016-09-13 00:00:00';

hive beeline
person RaJ    schedule 16.09.2016    source источник

Ответы (3)


arrow_upward
3
arrow_downward

При использовании beeline логи MapReduce входят в состав логов HiveServer2 log4j.

Если ваша установка Hive была настроена с помощью Cloudera Manager (CM), то она обычно будет находиться в /var/log/hive/hadoop-cmf-HIVE-1-HIVESERVER2-*.out на узле, где работает HiveServer2 (может быть или не быть таким же, где вы запускаете beeline).

Несколько других сценариев:

  • Ваша установка Hive не была настроена CM? Вам потребуется вручную создать файл конфигурации log4j:

    • Create hive-log4j.properties config file in directory specified by HIVE_CONF_DIR environment variable. (This makes it accessible to HiveServer2 JVM classpath)
      • In this file, log location is specified by log.dir and log.file. See conf/hive-log4j.properties.template in your distribution for an example template for this file.

  • Вы запускаете билайн во "встроенном режиме HS2" (т.е. beeline -u jdbc:hive2:// user password) ?:

    • You will customize beeline log4j (as opposed to HiveServer2 log4j).
    • Файл свойств Beeline log4j строго называется beeline-log4j2.properties (в версиях до Hive 2.0 он назывался beeline-log4j.properties). Необходимо создать и сделать доступным для пути к классам JVM beeline через HIVE_CONF_DIR. См. HIVE-10502 и HIVE-12020 для дальнейшего обсуждения этого вопроса.

  • Вы хотите настроить, какие журналы HiveServer2 будут выводиться на стандартный вывод beeline?

    • This can be configured at HiveServer2 level using hive.server2.logging.operation.enabled and hive.server2.logging.operation configs.
person user3730028    schedule 23.05.2017

arrow_upward
0
arrow_downward

Hive использует log4j для ведения журнала. Эти журналы по умолчанию не выводятся в стандартный вывод, а вместо этого записываются в файл журнала, указанный в файле свойств Hive log4j. По умолчанию Hive будет использовать hive-log4j.default в conf/ directory установки Hive, которая записывает журналы в /tmp/<userid>/hive.log и использует уровень WARN.

Часто желательно вывести журналы на стандартный вывод и/или изменить уровень ведения журнала в целях отладки. Это можно сделать из командной строки следующим образом:

$HIVE_HOME/bin/hive --hiveconf hive.root.logger=INFO,console
person genifer    schedule 16.09.2016
comment
Я настроил beeline, как показано ниже beeline --verbose=true --hiveconf hive.root.logger=INFO,console, но журналы все равно не приходят - person RaJ; 16.09.2016

arrow_upward

arrow_downward

person    schedule
comment
Это не ответ. Возник вопрос: где находится лог-файл? - person Aedvald Tseh; 03.09.2019