У меня есть запрос CREATE TABLE foobar AS SELECT ..., который успешно выполняется в Hue (возвращенный статус Inserted 986571 row(s)) и выполняется за пару секунд. Однако в Cloudera Manager его статус - спустя более 10 минут - по-прежнему говорит Executing.
Это ошибка в Cloudera Manager или этот запрос все еще выполняется?
Когда Hue выполняет запрос, он оставляет запрос открытым, чтобы пользователи могли просматривать результаты в своем собственном темпе. (Конечно, такое поведение не очень полезно для операторов DDL.) Это означает, что Impala по-прежнему считает, что запрос выполняется, даже если он не использует активно циклы ЦП (имейте в виду, что он все еще удерживает память!). Hue закроет запрос, если это явно указано, или когда страница/сеанс закрыта, например. с помощью команды оттенка:
> build/env/bin/hue close_queries --help
Обратите внимание, что Impala имеет параметр запроса для автоматического «тайм-аута» запросов по истечении определенного периода времени, см. query_timeout_s. Hue по умолчанию устанавливает это значение на 10 минут, но вы можете переопределить его в настройках hue.ini.
Следует отметить, что когда запросы истекают, они отменяются, но не закрываются, т. е. запрос остается "в процессе" со статусом CANCELLED. Причина этого в том, что пользователи (или инструменты) могут продолжать наблюдать за метаданными запроса (например, профилем запроса, статусом и т. д.), которые будут недоступны, если запрос полностью закрыт и, следовательно, снят с регистрации в импаладе. К сожалению, эти отмененные запросы могут по-прежнему занимать некоторые существенные ресурсы, но это будет исправлено с помощью IMPALA-1575< /а>.
Дополнительная информация: Жизненный цикл запросов Hive и Impala
HUE_CONF_DIR? Может быть, он не указывает на правильный каталог? Документы hue предоставляют следующее магическое заклинание для установки envvar в системе, на которой работает hue, размещенный на CM: export HUE_CONF_DIR="/var/run/cloudera-scm-agent/process/``ls -alrt /var/run/cloudera-scm-agent/process | grep HUE | tail -1 | awk '{print $9}'``" (Есть дополнительные обратные кавычки, которые следует удалить, я изо всех сил пытаюсь избежать обратных кавычек в разметке...) Может вы проверяете, существует ли этот каталог?
- person Matt; 26.03.2015
