Как улучшить скорость импорта в SQL Workbench / J

Пробовал, как показано ниже, но он импортирует ужасно медленно, со скоростью 3 строки / сек.

WbImport -file=c:/temp/_Cco_.txt
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name
         ---deleteTarget
         -batchSize=10000
         -commitBatch

amazon-redshift sql-workbench-j
person klisim    schedule 04.06.2018    source источник
comment
Какой продукт СУБД и драйвер JDBC вы используете? Возможно, вы отправляете это через медленное сетевое соединение? У вас есть много индексов, определенных в таблице confidential? Каковы типы данных этих трех столбцов?   -  person a_horse_with_no_name    schedule 04.06.2018
comment
Реляционная БД, jdbc: redshift, складская сеть с хорошей пропускной способностью, достоверно включает только 2 индекса, 3 типа данных varchar.   -  person klisim    schedule 04.06.2018

Ответы (2)


arrow_upward
1
arrow_downward

WbInsert может использовать COPY API Postgres JDBC. Водитель.

Чтобы использовать его, используйте

WbImport -file=c:/temp/_Cco_.txt
         -usePgCopy
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name

Параметры -batchSize и -commitBatch в этом случае игнорируются, поэтому вам следует удалить их.

В этом случае SQL Workbench / J по существу будет использовать эквивалент COPY ... FROM STDIN. Это должно быть намного быстрее, чем обычные инструкции INSERT.

Для этого необходимо, чтобы входной файл был отформатирован в соответствии с требованиями команды COPY.

person SQL WorkbenchJ    schedule 20.09.2018

arrow_upward
0
arrow_downward

WbImport использует INSERT для загрузки данных. Это худший способ загрузки данных в Redshift.

Для этого вы должны использовать команду COPY, как указано в документации Redshift:

«Мы настоятельно рекомендуем использовать команду COPY для загрузки больших объемов данных. отдельные инструкции INSERT для заполнения таблицы могут быть чрезмерно медленными. "

person Joe Harris    schedule 06.06.2018
comment
Эй, я не владелец этого кластера красного смещения, поэтому я не могу использовать режим массового копирования. Ищу лучшую альтернативу. Возможно, я попробую с другим ide, для которого не нужны разрешения s3. - person klisim; 08.06.2018