Проблемы с памятью при использовании bigmemory для загрузки большого набора данных в R

2. есть ли лучший способ загрузить, обработать и затем сохранить эти данные? Текущий метод медленный!

Самая медленная часть вашего метода, по-видимому, заключается в вызове чтения каждой строки по отдельности. Мы можем «разбивать» данные или читать по несколько строк за раз, чтобы не превысить лимит памяти и, возможно, ускорить процесс.

Вот план:

1. Выяснить, сколько строк у нас есть в файле
2. Прочитайте кусок этих строк
3. Выполните некоторую операцию над этим фрагментом

4. Вставьте этот фрагмент обратно в новый файл, чтобы сохранить его на потом.

   library(readr) 
   # Make a file
   x <- data.frame(matrix(rnorm(10000),100000,10))
   
   write_csv(x,"./test_set2.csv")
   
   # Create a function to read a variable in file and double it
   calcDouble <- function(calc.file,outputFile = "./outPut_File.csv",
   read.size=500000,variable="X1"){
     # Set up variables
     num.lines <- 0
     lines.per <- NULL
     var.top <- NULL
     i=0L
   
     # Gather column names and position of objective column
     connection.names <- file(calc.file,open="r+")
     data.names <- read.table(connection.names,sep=",",header=TRUE,nrows=1)
     close(connection.names)
     col.name <- which(colnames(data.names)==variable)
   
     #Find length of file by line
     connection.len <- file(calc.file,open="r+")
     while((linesread <- length(readLines(connection.len,read.size)))>0){
   
       lines.per[i] <- linesread
       num.lines <- num.lines + linesread
       i=i+1L 
     }
     close(connection.len)
   
     # Make connection for doubling function
     # Loop through file and double the set variables
     connection.double <- file(calc.file,open="r+")
     for (j in 1:length(lines.per)){
   
       # if stops read.table from breaking
       # Read in a chunk of the file
       if (j == 1) {
         data <- read.table(connection.double,sep=",",header=FALSE,skip=1,nrows=lines.per[j],comment.char="")
       } else {
         data <- read.table(connection.double,sep=",",header=FALSE,nrows=lines.per[j],comment.char="")
       }
         # Grab the columns we need and double them
         double <- data[,I(col.name)] * 2
       if (j != 1) {
         write_csv(data.frame(double),outputFile,append = TRUE)
       } else {
         write_csv(data.frame(double),outputFile)
       }
   
       message(paste0("Reading from Chunk: ",j, " of ",length(lines.per)))
     }
     close(connection.double)
   }
   
   calcDouble("./test_set2.csv",read.size = 50000, variable = "X1")
   

Таким образом, мы получаем файл .csv с измененными данными. Вы можете изменить double <- data[,I(col.name)] * 2 на любую вещь, которую вам нужно сделать с каждым фрагментом.