Как добавить несколько больших объектов data.table в одну data.table и быстро экспортировать в csv без нехватки памяти?

Обновление от 23.12.2013. Следующее решение работает полностью в R без нехватки памяти (спасибо, @AnandaMahto).
Основное предостережение в отношении этого метода заключается в том, что вы должны быть абсолютно уверены, что файлы, которые вы читаете и записываете, каждый раз иметь одни и те же столбцы заголовков в точно таком же порядке, или ваш код обработки R должен гарантировать это, поскольку write.table не проверяет это за вас.

for( loop through folders ){

    for ( loop through files ) {

        filename = list.files( ... )
        file = as.data.table ( read.csv( gzfile( filename ), stringsAsFactors = F ))
        gc()

        ...do some processing to file...

        # append file to the running master.file
        if ( first time through inner loop) {
            write.table(file, 
                        "masterfile.csv", 
                        sep = ",", 
                        dec = ".", 
                        qmethod = "double", 
                        row.names = "FALSE")
        } else {
            write.table(file,
                        "masterfile.csv",
                        sep = ",",
                        dec = ".",
                        qmethod = "double",
                        row.names = "FALSE",
                        append = "TRUE",
                        col.names = "FALSE")
        }
        rm( file, filename )
        gc()
    }
    gc()
}

Мое первоначальное решение:

for( loop through folders ){

    for ( loop through files ) {
        filename = list.files( ... )
        file = as.data.table ( read.csv( gzfile( filename ), stringsAsFactors = F ))
        gc()

        ...do some processing to file...

        #write out the file
        write.csv( file, ... )
        rm( file, filename )
        gc()
    }        
    gc()
}

Затем я загрузил и установил пакет sed для GnuWin32 и использовал инструменты командной строки Windows, чтобы добавить файлы как следует:

copy /b *common_pattern*.csv master_file.csv

Это добавляет вместе все отдельные файлы .csv, имена которых содержат текстовый шаблон «common_pattern», заголовки и все такое.

Затем я использую sed.exe для удаления всех строк заголовка, кроме первой, следующим образом:

"c:\Program Files (x86)\GnuWin32\bin\sed.exe" -i 2,${/header_pattern/d;} master_file.csv

-i указывает sed просто перезаписать указанный файл (на месте).

2,$ указывает sed искать диапазон от 2-й строки до последней строки ($)

{/header_pattern/d;} говорит sed искать все строки в диапазоне с текстом "header_pattern" и d удалить эти строки

Чтобы убедиться, что это делает то, что я хотел, я сначала напечатал строки, которые планировал удалить.

"c:\Program Files (x86)\GnuWin32\bin\sed.exe" -n 2,${/header_pattern/p;} master_file.csv

Работает как шарм, я просто хотел бы сделать все это в R.