Нужна помощь в запросе HDFS из сверла

У меня на ноутбуке установлены дрель и зоопарк. Я запустил HDFS на своем ноутбуке и вижу, что могу запрашивать файлы csv и json в HDFS. Теперь я хотел запросить файлы, расположенные на другом ноутбуке. Следовательно, я запустил hdfs на другом ноутбуке, и когда я дал запрос select *, он потерпел неудачу (хотя я могу выполнить запрос show files без проблем).

Ошибка, которую я получаю, находится в ссылке Dropbox:

https://www.dropbox.com/s/5bgyw4jetweczoj/drill.log?dl=0

Оба ноутбука под управлением Ubuntu

Версия сверла Apache: 1.1.0

У меня есть следующие вопросы:

1) Можно ли запустить сверло на машине за пределами кластера Hadoop и запросить файлы hdfs в кластере?

2) Если да, нужно ли дополнительное изменение конфигурации?


person Malathi    schedule 20.08.2015    source источник


Ответы (1)


Да, можно запустить Drill на машине за пределами кластера Hadoop и запросить файлы hdfs в кластере. Запустите рабочую оболочку (sqlline) из командной строки и укажите кворум zookeeper для подключения. См. Использование специальное подключение к Drill. Вы также можете использовать SQuirrel для подключения. Конфигурация для Windows аналогична Linux.

person catpaws    schedule 20.08.2015
comment
Спасибо за ответ. Я проверю это. У вас есть идеи, почему я получаю исключение BlockMissingException? Я без проблем попытался получить доступ к файлу hdfs через интерфейс Namenode. Пожалуйста, обратитесь к журналу по ссылке Dropbox, упомянутой выше. - person Malathi; 20.08.2015