Невозможно подключить Impala-Kudu к Apache Kudu (без Cloudera Manager): получить ошибку TTransportException

Я успешно установил kudu на Ubuntu (Trusty) в соответствии с официальной документацией kudu (см. http://kudu.apache.org/docs/installation.html). В установке один узел запускает главный и планшетный сервер, а другой узел - только планшетный сервер. У меня возникают проблемы с установкой impala-kudu без Cloudera Manager на узле, на котором запущен kudu master. Я выполнил инструкции по установке CDH по этому поводу (см. http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html) до шага 3. Я избегал установки CDH с YARN и MRv1, поскольку мне не нужно запускать какие-либо задания mapreduce и я не буду использовать hadoop . Импала-куду и импала-куду-шелл установились без ошибок. Когда я запускаю импала-оболочку, она возвращает:

Starting Impala Shell without Kerberos authentication
Error connecting: TTransportException, Could not connect to kudu_test:21000
***********************************************************************************
Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.7.0-cdh5-IMPALA_KUDU-cdh5 (48f1ad3) built on Thu Aug 18 12:15:44 PDT 2016)Want to know what version of Impala you're connected to? Run the VERSION command to
find out!
***********************************************************************************
[Not connected] >

Я безуспешно пытался использовать опцию CONNECT для подключения к узлу kudu-master. Имапала-куду и куду работают на одной машине. Есть ли дополнительные настройки конфигурации, которые необходимо изменить, или хадуп и пряжа - строгое требование для работы импала-куду?

После запуска ps -ef | grep -i impalad я могу подтвердить, что демон impala не запущен. После перехода к журналам impala в ~ / var / log / impala я обнаружил несколько файлов ошибок и предупреждений. Вот результат impalad.ERROR:

Log file created at: 2016/09/13 13:26:24
Running on machine: kudu_test
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0913 13:26:24.084389  3021 logging.cc:118] stderr will be logged to this file.
E0913 13:26:25.406966  3021 impala-server.cc:249] Currently configured default filesystem: LocalFileSystem. fs.defaultFS (file:///) is not supported.ERROR: block location tracking is not properly enabled because
  - dfs.datanode.hdfs-blocks-metadata.enabled is not enabled.
  - dfs.client.file-block-storage-locations.timeout.millis is too low. It should be at least 10 seconds.

E0913 13:26:25.406990  3021 impala-server.cc:252] Aborting Impala Server startup due to improper configuration. Impalad exiting.

Может быть, мне нужно еще раз посетить HDFS и Hive Metastore, чтобы убедиться, что эти службы настроены правильно?


apache cloudera impala apache-kudu
person Community    schedule 11.09.2016    source источник
comment
Какую команду вы использовали для запуска импалы? Вы проверяли вывод этой команды или журналы impalad на наличие сообщений об ошибках?   -  person Zoltan    schedule 12.09.2016
comment
Я использовал impala-shell, чтобы запустить импалу. Результат этой команды генерирует вышеупомянутое. При проверке журналов impalad в / var / log / impala обнаруживается несколько ошибок и предупреждений, но в основном они дублируются. Я обновлю сообщение выше, чтобы отразить это   -  person    schedule 13.09.2016

Ответы (1)


arrow_upward
0
arrow_downward

Согласно журналу, impalad завершает работу, потому что файловая система по умолчанию настроена как LocalFileSystem, что не поддерживается. Вы должны установить распределенную файловую систему, такую ​​как HDFS, по умолчанию.

Хотя Kudu является отдельной системой хранения и не полагается на HDFS, Impala по-прежнему требует нелокальной FS по умолчанию даже при использовании с Kudu. В документации Impala_Kudu явным образом перечислены следующие требования:

Перед установкой Impala_Kudu вы должны уже установить и настроить службы для HDFS (хотя он не используется Kudu), Hive Metastore (где Impala хранит свои метаданные) и Kudu.

Я даже могу представить, что HDFS на самом деле может не понадобиться по какой-либо другой причине, кроме как для того, чтобы сделать Импалу счастливой, но это всего лишь предположение с моей стороны. Обновление: обнаружен IMPALA-1850, который подтверждает мое подозрение, что HDFS не требуется для Impala любого больше, но это не просто единственная проверка, которую нужно удалить.

person Zoltan    schedule 13.09.2016
comment
Спасибо, Золтан. Постараюсь установить его и посмотрю, как я уйду. - person ; 14.09.2016
comment
Золтан, похоже, это сработало. Не могли бы вы объяснить, почему требуется HDFS и как Kudu его использует (если вообще?) - person ; 18.09.2016
comment
Привет, GNettlefold, Kudu не нуждается в HDFS, но, очевидно, Impala нужна. Я подозреваю, что на самом деле в этом нет необходимости, это, вероятно, требуется только по историческим причинам (то есть тогда, до того, как была добавлена ​​поддержка Kudu, не имело никакого смысла не использовать удаленную FS). Я расширил свой ответ этой информацией. - person Zoltan; 18.09.2016
comment
Справедливо. Спасибо - person ; 19.09.2016
comment
другой вопрос к вам. Нужно ли куду и импала-куду запускать на одной машине или они могут быть отдельными и подключаться по сети? - person ; 24.09.2016
comment
Извините, я не знаю ответа на ваш последний вопрос. Я предполагаю, что они могут быть отдельными, но я не знаю, как это повлияет на производительность. - person Zoltan; 26.09.2016