У меня есть этот неустойчивый клиент, который хочет передать данные из HAWQ в GREENPLUM после некоторой предварительной обработки. Есть какой-либо способ сделать это? Если нет, можно ли создать в greenplum внешнюю таблицу, которая считывает ее из HDFS, в которой работает HAWQ?
Любая помощь будет оценена.
Самое простое, что вы можете сделать — отправить данные из HAWQ в HDFS с помощью внешней доступной для записи таблицы, а затем прочитать их из Greenplum с помощью внешней доступной для чтения таблицы по протоколу gphdfs. На мой взгляд, это будет самый быстрый вариант.
Другой вариант — хранить данные в сжатых с помощью gzip файлах CSV на HDFS и работать с ними напрямую из HAWQ. Таким образом, когда вам нужны эти данные в Greenplum, вы можете просто запросить их так же, как и внешнюю таблицу.
HAWQ такой же, как Greenplum, только основное хранилище — hdfs,
Один из способов: вы можете создать внешнюю (доступную для записи) таблицу в HAWQ, которая будет записывать ваши данные в файл, теперь, после этого, вы можете создать внешнюю (доступную для чтения) таблицу в Greenplum, которая будет считывать данные из этой созданный файл
Другой способ Вы можете копировать с одного сервера на другой, используя стандартный ввод/вывод, я использую его много раз, когда требуется передать данные из среды разработки в Prodcution или наоборот
Другой способ Вы можете создать резервную копию с помощью pg_dump/gp_dump для определенной таблицы/таблиц, а затем восстановить с помощью pg_restore/gp_restore
Спасибо
