Как экспортировать каталог HDFS с помощью Beeline (без доступа к HDFS)?

У меня есть доступ к ульевому кластеру через билайн. Результаты некоторых запросов сохраняются в виде файлов в hdfs (например, /user/hive/warehouse/project). Эти результаты — просто строки текста.

Можно ли «загрузить» эти файлы на мою локальную машину только с помощью beeline, поскольку у меня нет доступа к hdfs?


hdfs hive beeline
person Majid Alfifi    schedule 11.02.2018    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Вы можете

INSERT OVERWRITE LOCAL DIRECTORY '/your/path/' SELECT your_query
person Bala    schedule 12.02.2018
comment
Я не могу выполнить запрос, потому что результаты представляют собой просто текстовые файлы в HDFS, а не таблицы кустов. В идеале я бы просто сделал hadoop fs -get /user/hive/warehouse/results, но у меня нет доступа к hdfs, поэтому я искал обходной путь, чтобы добиться того же с помощью beeline. Есть ли способ сделать это? - person Majid Alfifi; 14.02.2018

arrow_upward
0
arrow_downward

Попробуйте сделать что-то вроде этого.

beeline: -e "select * from yourtable" > LOCAL/PATH/your_output

Я запускаю эту команду с сервера unix на удаленном сервере HDFS.

С Уважением.

person Felipe Nedeff    schedule 25.11.2019