Инкрементный импорт Sqoop Не удается добавить файлы в целевой каталог

У меня возникла проблема при импорте данных из MySQL в Hive с помощью Sqoop...

Этот запрос:

sqoop import --connect jdbc:mysql://xx.xx.xx.xx/database \
    --username sqoop --password sqoop --table datatable \
    --target-dir /home/cloudera/user/hive/warehouse/database.db/datatable \
    --as-parquetfile -m 1 --append

Вернуть эту ошибку:

01.15.14, 16:27:28 ПРЕДУПРЕЖДЕНИЕ util.AppendUtils: невозможно добавить файлы в целевой каталог; нет такого каталога: _sqoop/14162350000000781_32315_servername.ip-xx-xx-xx.eu_datatable

Файлы расположены в /user/root/_sqoop/ следующим образом: /user/root/_sqoop/14162350000000781_32315_servername/ip-xx-xx-xx/eu_datatable/

Нормально ли, что точки в имени хоста заменены косой чертой? Вроде бы проблема, но никто не жалуется на эту проблему...

Редактировать: он работает правильно при использовании текстового формата вместо паркета.

Благодарю вас !


person Taoma_k    schedule 14.01.2015    source источник
comment
какая версия sqoop?   -  person vishnu viswanath    schedule 14.01.2015
comment
У меня похожая проблема. Я запускаю команду: sqoop import --connect... --password... --username... --hbase-create-table --table TRANSFER_HBASE01 --hbase-table HBASE01 --column-family transfer01 -- target-dir /user/mapr/TRANSFER_HBASE01 --check-column ID --incremental append --last-value 5 Я получаю предупреждение: WARN util.AppendUtils: Не удается добавить файлы в целевой каталог; нет такого каталога: _sqoop/891283d89d584bf3b06c73122805e270_TRANSFER_HBASE01 Я не могу получить добавочные данные при чтении из скрипта свиньи. Кто-нибудь нашел какое-либо решение для этого?   -  person Swaraj Shekhar    schedule 04.05.2016
comment
У меня такая же проблема при запуске добавочного экспорта из postgresql в avro. Он отлично работает без инкрементного обновления.   -  person mikebridge    schedule 14.02.2020


Ответы (1)


Насколько я понимаю, это по-прежнему проблема.

Даже если вы используете sqoop 1.4.6, результат будет тот же.

https://issues.apache.org/jira/browse/SQOOP-2165

person Feiran    schedule 08.02.2017