Pentaho PDI (Spoon): очень медленный вывод таблицы MySQL (~ 2000 строк/с)

Шаг вывода моей таблицы ужасно медленный (~ 2 000 строк в секунду) по сравнению с вводом (100 000–200 000 строк в секунду). Сервер MySQL не является проблемой, используя собственный MySQL, например. с шагом «Выполнение сценария SQL» я получаю что-то в 100 тысяч в секунду. Я уже пробовал (безуспешно) общее решение расширения параметров SQL:

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

Я также изменил параметр размера коммита (100, 1.000, 10.000) и включил Use batch updates for inserts, тоже безуспешно. Что еще я могу сделать? У меня есть таблицы с ~ 10 000 000 строк, а Pentaho работает на очень мощной машине, так что это неприемлемо.


mysql pentaho pdi kettle
person Juergen    schedule 29.07.2016    source источник
comment
Используете ли вы какие-либо фильтры в предложении WHERE?   -  person shzyincu    schedule 02.08.2016

Ответы (2)


arrow_upward
0
arrow_downward

Для этого я думаю, что идеальным шагом является шаг MySQL Bulk Loader, который указан в разделе «Массовая загрузка». Наряду с этим используют указанное

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

в параметрах JDBC в соединении. Эти useCompression будут сжимать трафик между клиентом и сервером MySQL, тогда как другие два будут формировать INSERT INTO tbl (a,b) VALUES (1,'x'),(2,'y'),(3,'z'); без использования отдельных операторов вставки для каждого.

person Marlon Abeykoon    schedule 29.07.2016
comment
К сожалению, мой компьютер для разработки — это Windows Server 2012 R2, поэтому я получаю эту ошибку. - person Juergen; 29.07.2016

arrow_upward
0
arrow_downward

Следуй этим шагам:

  1. Увеличьте размер ОЗУ для PDI, также известного как Spoon.
  2. Используя утилиту командной строки, такую ​​как (Кухня или Сковорода), запустите задание или преобразование.

Ну а теперь сравните скорость.

Ваше здоровье!

person MAX    schedule 04.01.2017