Проблема с использованием ff с функцией SVM в библиотеке (e1071)

Я пытаюсь использовать объект ff для запуска исследования классификации svm.

Я преобразовал свой кадр данных в объект ff, используя ffdf ‹- as.ffdf(signalDF). Набор данных имеет 1024 столбца и ~ 600 тыс. строк.

Когда я запускаю функцию svm(Y~., data=ffdf,scale=FALSE,kernel="linear"), я получаю сообщение об ошибке:

Error: cannot allocate vector of size 15.8 Gb

Running ulimit -n:
64000

Кроме того, запуск df показывает много места на диске.

Любая причина, по которой я получаю сообщение об ошибке памяти при использовании объекта ff?

Любая помощь приветствуется.

Спасибо


r svm ff
person John Smith    schedule 19.09.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Дисковое пространство отличается от памяти, доступной для вычислений. Ошибка указывает на то, что у вас недостаточно памяти для выполнения вычислений. Основные причины заключаются в том, что ваш набор данных велик, а объем оперативной памяти вашего компьютера ограничен. Если вы уменьшите размер тренировки, она будет работать.

person Troy    schedule 19.09.2017