Объемная вставка MonetDB.R

У Ханнеса может быть более разумное решение, но пока это может помочь :)

# start with an example data set
nrow( mtcars )

# and a MonetDB.R connection
db

# here's how many records you'd have if you stack your example data three times
nrow( mtcars ) * 3

# write to three separate tables
dbWriteTable( db , 'mtcars1' , mtcars )
dbWriteTable( db , 'mtcars2' , mtcars )
dbWriteTable( db , 'mtcars3' , mtcars )

# stack them all
dbSendUpdate( db , "CREATE TABLE mtcars AS SELECT * FROM mtcars1 UNION ALL SELECT * FROM mtcars2 UNION ALL SELECT * FROM mtcars3 WITH DATA" )

# correct number of records
nrow( dbReadTable( db , 'mtcars' ) )

Я рассмотрю это. monetdb.read.csv использует COPY INTO, поэтому вам может сойти с рук создание временного файла. CSV-файл.

Я понимаю, что вы имеете в виду, хотя это ничего не меняет в том факте, что dbWriteTable использует цикл for и «INSERT INTO», что может быть довольно медленным. Я, возможно, не очень ясно выразился в своем первоначальном посте.

В качестве обходного пути я предполагаю, что "START TRANSACTION" и "COMMIT" с dbSendUpdate могут работать.

В идеале было бы здорово что-то вроде этого:

"КОПИРОВАТЬ В таблицу ИЗ data.frame"

Мы только что опубликовали версию 0.9.4 MonetDB.R на CRAN. Основным изменением в этом выпуске являются значительные улучшения метода dbWriteTable. По умолчанию INSERT теперь разбит на 1000 строк на оператор. Кроме того, если база данных работает на том же компьютере, что и R, вы можете использовать параметр csvdump=T. Это записывает data.frame в локальный временный файл CSV и использует автоматически сгенерированный оператор COPY INTO для импорта. Оба эти метода, очевидно, предназначены для повышения скорости, с которой dbWriteTable импортирует данные. Кроме того, исправлена ​​обработка параметров добавления/перезаписи.