R управление памятью / невозможно выделить вектор размером n МБ

Подумайте, действительно ли вам нужны все эти данные явно или матрица может быть разреженной? В R имеется хорошая поддержка (например, см. Пакет Matrix) для разреженных матриц.

Сведите к минимуму все другие процессы и объекты в R, когда вам нужно создавать объекты такого размера. Используйте gc(), чтобы очистить неиспользуемую память, или, что лучше, создайте только тот объект, который вам нужен, за один сеанс.

Если вышеперечисленное не может помочь, возьмите 64-разрядную машину с таким объемом оперативной памяти, который вы можете себе позволить, и установите 64-разрядный R.

Если вы не можете этого сделать, существует множество онлайн-сервисов для удаленных вычислений.

Если вы не можете этого сделать, инструменты отображения памяти, такие как пакет ff (или bigmemory, как упоминает Саша), помогут вам создать новое решение. По моему ограниченному опыту, ff - это более продвинутый пакет, но вам следует прочитать тему High Performance Computing о обзорах задач CRAN.

Для пользователей Windows следующее очень помогло мне понять некоторые ограничения памяти:

• перед открытием R откройте Монитор ресурсов Windows (Ctrl-Alt-Delete / Запустить диспетчер задач / вкладка «Производительность» / нажмите нижнюю кнопку «Монитор ресурсов» / вкладка «Память»)
• вы увидите, сколько оперативной памяти мы уже использовали до того, как вы открыли R, и какими приложениями. В моем случае используется 1,6 ГБ из 4 ГБ. Так что я смогу получить только 2,4 ГБ для R, но теперь становится еще хуже ...
• откройте R и создайте набор данных размером 1,5 ГБ, затем уменьшите его размер до 0,5 ГБ. Монитор ресурсов показывает, что моя оперативная память используется почти на 95%.
• используйте gc() для сборки мусора => он работает, я вижу, что использование памяти уменьшилось до 2 ГБ

Дополнительный совет, который работает на моей машине:

• подготовить функции, сохранить как файл RData, закрыть R, повторно открыть R и загрузить функции поезда. Диспетчер ресурсов обычно показывает меньшее использование памяти, что означает, что даже gc () не восстанавливает всю возможную память, и закрытие / повторное открытие R работает лучше всего, чтобы начать с максимальным объемом доступной памяти.
• Другой трюк состоит в том, чтобы загружать только набор поездов для обучения (не загружайте набор тестов, который обычно может составлять половину размера набора поездов). Фаза обучения может использовать память по максимуму (100%), поэтому все, что доступно, полезно. Все это следует воспринимать с недоверием, поскольку я экспериментирую с ограничениями памяти R.

Я перешел на страницу справки memory.limit и обнаружил, что на моем компьютере R по умолчанию может использовать до ~ 1,5 ГБ ОЗУ и что пользователь может увеличить этот предел. Используя следующий код,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

помог мне решить мою проблему.

Вот презентация по этой теме, которая может вас заинтересовать:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Я сам не пробовал обсуждать, но пакет bigmemory кажется очень полезным

Самый простой способ обойти это ограничение - перейти на 64-битный R.

Я столкнулся с подобной проблемой, и я использовал 2 флешки в качестве ReadyBoost. Два диска дали дополнительный прирост памяти на 8 ГБ (для кеша), и это решило проблему, а также увеличило скорость системы в целом. Чтобы использовать Readyboost, щелкните диск правой кнопкой мыши, перейдите в «Свойства», выберите «ReadyBoost», выберите переключатель «Использовать это устройство» и нажмите «Применить» или «ОК» для настройки.

Если вы запускаете свой скрипт в среде Linux, вы можете использовать эту команду:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

и сервер выделит вам запрошенную память (в соответствии с ограничениями сервера, но с хорошим сервером - можно использовать огромные файлы)

Один из вариантов - до и после выполнения вашей команды, которая приводит к высокому потреблению памяти для выполнения сборки мусора путем выполнения команды gc(), это освободит память для вашего анализа в дополнение к использованию команды memory.limit().

Пример:

gc()
memory.limit(9999999999)
fit <-lm(Y ~ X)
gc() 

Упомянутый выше метод сохранения / загрузки работает для меня. Я не уверен, как / если gc() дефрагментирует память, но, похоже, это работает.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")