У меня есть большой текстовый файл (> 10 миллионов строк,> 1 ГБ), который я хочу обрабатывать по одной строке за раз, чтобы избежать загрузки всего в память. После обработки каждой строки я хочу сохранить некоторые переменные в объект big.matrix ....

Мне нужно запустить некоторые регрессионные модели и описания для большого набора данных. У меня есть папка с примерно 500 файлами (обновление: файлы txt), которые я хотел бы объединить, и их общий размер составляет 250 ГБ. Я знаю, как объединить...

Мне приходится работать с объектами big.matrix, и я не могу вычислять некоторые функции. Рассмотрим следующую большую матрицу: # create big.matrix object x <- as.big.matrix( matrix( sample(1:10, 20, replace=TRUE), 5, 4,...

Мы пытаемся использовать библиотеку BigMemory с foreach для параллельного анализа. Однако функция as.big.matrix всегда использует резервный файл. На наших рабочих станциях достаточно памяти, есть ли способ использовать bigMemory без резервного...

Чтобы выполнить кластерный анализ kmean для больших наборов растровых данных, я пытаюсь преобразовать свой объект RasterBrick в объект big.matrix с помощью функции brick , но когда я читаю файл .grd обратно в R , вся информация теряется....

У меня есть очень большая двоичная матрица, хранящаяся как big.matrix для экономии памяти (в противном случае она составляет более 2 ГБ - 5 миллионов столбцов и 100 строк). r <- 100 c <- 10000 m4 <- matrix(sample(0:1,r*c,...

Как изменить все ненулевые значения на 1 при использовании объекта класса big.matrix ? Если я конвертирую в обычную матрицу, размер объекта превышает 2 ГБ (10 ^ 7 столбцов, 100 строк), поэтому это невозможно. Спасибо!

В настоящее время я пытаюсь реализовать SVD очень большой матрицы, используя bigmemory и irlba. Насколько я понимаю, мне нужно настроить команду mult в пакете irlba, что я сделал следующим образом: mult <- function(A, B, transpose=FALSE) {...

Я хотел бы выполнить линейную регрессию с большими матрицами. Это то, что я пробовал до сих пор: library(bigmemory) library(biganalytics) library(bigalgebra) nrows <- 1000000 X <- as.big.matrix( replicate(100, rnorm(nrows)) ) y <-...

Я работаю с несколькими большими квадратными матрицами 1,3e6 строк, и мне нужна диагональ всех из них. Мне нужен эффективный способ сделать это, но я не могу использовать diag() library(bigmemory) A=big.matrix(nrow=1.3e6,ncol=1.3e6,init=3)...