Последние два дня я безуспешно пытался преобразовать большой CSV (9 гигабайт) в формат XDF с помощью функции RxImport.
Кажется, что процесс начинается хорошо, когда R-сервер читает фрагмент данных за фрагментом, но через несколько минут он замедляется до сканирования, а затем полностью завершается сбоем примерно через 6 часов, когда Windows останавливает сервер, говоря, что ему не хватает ОЗУ.
Код, который я использую, выглядит следующим образом:
pd_in_file <- RxTextData("cca_pd_entity.csv", delimiter = ",") #file to import
pd_out_file <- file.path("cca_pd_entity.xdf") #desired output file
pd_data <- rxImport(inData = pd_in_file, outFile = pd_out_file,
stringsAsFactors = TRUE, overwrite = TRUE)
Я использую Microsoft R Server версии 9.0.1. на машине Windows 7 с 16 гигабайтами оперативной памяти.
Спасибо
colInfo
- person Hong Ooi   schedule 03.06.2017