Проблемы с СВД большой матрицы с использованием bigmemory и irlba

В настоящее время я пытаюсь реализовать SVD очень большой матрицы, используя bigmemory и irlba. Насколько я понимаю, мне нужно настроить команду mult в пакете irlba, что я сделал следующим образом:

mult <- function(A, B, transpose=FALSE) {
  if(is.null(dim(B))) B <- cbind(B)
  if(transpose)
    return(cbind((t(B) %*% A)[]))
  cbind((A %*% B)[])
}

Однако запустить SVD на бигматрице с помощью irlba не получится:

irlbaObject <- irlba(big, nv = 10, mult = mult)

Для воспроизводимости вот пример большой матрицы, на которой я хочу сделать SVD:

big <- file("big.txt", open = "a")
replicate(20, {
  x <- matrix(rnorm(100 * 100), nrow = 10)
  write.table(x, file  = 'big.txt', append = TRUE,
              row.names = FALSE, col.names = FALSE)
})

big <- read.big.matrix("big.txt", separated = FALSE,
                        type = "double",
                        backingfile = "big.bk",
                        backingpath = "/tmp",
                        descriptorfile = "big.desc")

Это сообщение об ошибке, которое я получаю:

Error in A %*% B : requires numeric/complex matrix/vector arguments
Called from: cbind((A %*% B)[])

Кто-нибудь знает, как избежать этой ошибки?


r svd r-bigmemory
person Mucteam    schedule 02.05.2018    source источник
comment
Если вам нужны матричные продукты, я думаю, вам нужно загрузить пакет bigалгебры.   -  person F. Privé    schedule 02.05.2018
comment
@ F.Privé Я загрузил пакет, но все равно получаю ту же ошибку.   -  person Mucteam    schedule 02.05.2018

Ответы (1)


arrow_upward
1
arrow_downward

Это должно работать:

library(bigalgebra)
library(irlba)

## --> CHANGES HERE <--
setMethod("%*%", signature(x = "big.matrix", y = "numeric"),
          function(x, y) x %*% as.matrix(y))
setMethod("%*%", signature(x = "numeric", y = "big.matrix"),
          function(x, y) t(x) %*% y)
mult <- function(A, B) (A %*% B)[]

# Repdata
x <- matrix(rnorm(20 * 100 * 100), nrow = 20 * 10)
big <- as.big.matrix(x)
# Computation
irlbaObject <- irlba(big, nv = 10, mult = mult)
# Verification
svd <- svd(x, nu = 10, nv = 10)
plot(irlbaObject$u, svd$u)
plot(irlbaObject$v, svd$v)

Примечание 1: я думаю, что алгоритм в irlba изменился и теперь использует только умножение матрицы на вектор.

Примечание 2: mult является устаревшим аргументом (он исчезнет в следующих версиях).

Примечание 3: я не уверен, что это решение будет быстрым. Если вам нужен быстрый алгоритм для частичного вычисления SVD, попробуйте функцию big_randomSVD из пакета bigstatsr (отказ от ответственности: я м автор).

person F. Privé    schedule 03.05.2018
comment
теперь отлично работает. Большое спасибо! Я обязательно попробую big_randomSVD из вашего пакета. - person Mucteam; 03.05.2018
comment
Я проверил ваше решение, и оно работает. Однако с некоторыми матрицами результаты не те по сравнению с простой СВД из базовой комплектации. Вы знаете, почему это может происходить? - person Mucteam; 03.05.2018
comment
нашел решение: irlbaObject ‹- irlba(bigicds, nv = 10, mult = mult,tol=1e-14, work=30). Результаты те же сейчас. - person Mucteam; 03.05.2018
comment
Что я знаю, так это то, что алгоритм, который использовался ранее irlba (все еще используется?), недостаточно точен (точность хороша только для первых ПК). - person F. Privé; 03.05.2018