Вопросы по теме 'ff'
удалить строки из пакета
С некоторых пор я использую пакет ff для работы с большими данными. Объект R, с которым я работал, имеет около 130 000 000 строк и 14 столбцов. В двух из этих столбцов, «Температура» и «Осадки», отсутствуют значения «NA», поэтому мне нужно удалить...
1217 просмотров
schedule
01.04.2023
Пакет ff в R: как переместить данные с одного диска на другой и изменить имена файлов
Я интенсивно работаю с удивительным пакетом ff и ffbase. Из-за некоторых технических деталей мне приходится работать на моем диске C: с моей сессией R. После этого я перемещаю сгенерированные файлы на свой диск P: (используя вырезание/вставку в...
2045 просмотров
schedule
23.08.2022
Как связать два столбца ffdf
Предположим, два файла ffdf :
library(ff)
ff1 <- as.ffdf(data.frame(matrix(rnorm(10*10),ncol=10)))
ff2 <- ff1
colnames(ff2) <- 1:10
Как я могу привязать их к столбцам, не загружая их в память? cbind не работает.
Есть тот же...
1635 просмотров
schedule
02.05.2023
Сохраните файл больших данных в R для последующей загрузки в Matlab
Я создал числовую матрицу 300000 x 7 в R и хочу работать с ней как в R, так и в Matlab. Однако я не могу создать файл, хорошо читаемый для Matlab. При использовании команды save() с файлом=xx.csv вместо этого распознаются 5 столбцов; с расширением...
934 просмотров
schedule
12.12.2022
Функции для создания и изменения больших данных в R с помощью пакета FF
Я новичок в R и пакете FF и пытаюсь лучше понять, как FF позволяет пользователям работать с большими наборами данных (> 4 ГБ). Я провел значительное количество времени в Интернете в поисках учебных пособий, но те, которые я мог найти, как правило,...
1115 просмотров
schedule
02.09.2023
Как указать colClasses при чтении очень большого CSV-файла в R с помощью read.table.ffdf?
Я пытаюсь прочитать очень большой файл .csv размером около 20 ГБ, используя функцию read.table.ffdf() в пакете "ff", но не могу указать параметр colClasses в read.csv().
Я должен указать параметр colClasses, потому что некоторые столбцы в файле...
5322 просмотров
schedule
16.11.2022
Проблемы производительности с DocumentTermMatrix
Я пытаюсь создать две матрицы терминов документов следующим образом:
title_train <- DocumentTermMatrix(title_corpus_train, control = list(dictionary = title_dict))
title_test <- DocumentTermMatrix(title_corpus_test, control = list(dictionary...
201 просмотров
schedule
17.10.2022
R ffdfappend ошибка SIGBUS
У меня есть сценарий R, который использует пакеты ffbase и ff . В Windows скрипт работает нормально. В Linux (другая коробка, но больше оперативной памяти) он вылетает с ошибкой шины (SIGBUS).
Информация о сеансе Windows (версия 6.1.7601):...
712 просмотров
schedule
02.08.2023
Чтение данных из нескольких файлов CSV в один объект ffdf
Можно ли загрузить данные сразу из нескольких файлов в ff фрейм данных (ffdf)? Допустим, у меня есть
big_file_part1.csv
big_file_part2.csv
big_file_part3.csv
Я знаю, что могу загрузить каждый файл csv в отдельный объект ffdf, а затем...
568 просмотров
schedule
05.01.2023
Не удалось получить доступ к файлу ffdf из .RData
Я загрузил файлы с большими данными ( https://www.kaggle.com/c/avazu-ctr-prediction ) с помощью команды read.csv.ff из пакета ff с помощью следующей команды:
train = read.csv.ffdf(file="path to my big data files/train.csv",VERBOSE=TRUE)...
355 просмотров
schedule
29.08.2022
Функциональность Data.table setDT в пакетах ff/ffbase R
Рассчитать столбец условных средних, в ff/ffbase пакетах. Я ищу функциональность в пакетах ff/ffbase , которые позволяют мне манипулировать данными, как показано ниже с пакетом data.table :
library(data.table)
irisdf <-...
1212 просмотров
schedule
26.02.2023
Удалить пробел из ff_object в R
У меня есть объект ff. В одном из столбцов, который является строковой переменной, есть пробелы, и я хочу их удалить.
Я пробовал следующее:
1). newcol <- gsub("[[:space:]]", "", mydata$mystr)
2). newcol<-...
97 просмотров
schedule
06.06.2023
Постепенно увеличивайте фрейм данных ffdf на диске
Из документации save.ffdf:
Использование «save.ffdf» автоматически устанавливает «финализатор» векторов «ff» на «закрыть». Это означает, что данные будут сохранены на диске при удалении объекта или закрытии сеансов R. Данные можно удалить...
385 просмотров
schedule
22.06.2022
Лучший способ обработки больших наборов данных в R
Мне нужно запустить некоторые регрессионные модели и описания для большого набора данных. У меня есть папка с примерно 500 файлами (обновление: файлы txt), которые я хотел бы объединить, и их общий размер составляет 250 ГБ.
Я знаю, как объединить...
363 просмотров
schedule
30.06.2022
Объект ffdf потребляет дополнительную оперативную память (в ГБ)
Решил проверить ключевое преимущество пакета ff - минимальное выделение оперативной памяти (характеристики ПК: i5, RAM 8Gb, Win7 64 бит, Rstudio).
Согласно описанию пакета, мы можем манипулировать физическими объектами (файлами) так же, как и...
164 просмотров
schedule
02.09.2022
как сделать арифметические операции в объекте ffdf пакета ff
У меня есть скрипт, создающий объект ffdf:
library(ff)
library(ffbase)
setwd("D:/My_package/Personal/R/reading")
x<-cbind(rnorm(1:100000000),rnorm(1:100000000),1:100000000)
system.time(write.csv2(x,"test.csv",row.names=FALSE))
system.time(x...
231 просмотров
schedule
19.04.2023
Ошибка при чтении большого файла с использованием пакета ff
Я пытаюсь прочитать большой файл (1,51 ГБ) с помощью пакета «ff». Была использована следующая команда:
atmins = read.csv.ffdf(file="atmins.csv", header=TRUE, VERBOSE=TRUE,
first.rows=10000, next.rows=50000, colClasses=NA)...
328 просмотров
schedule
18.11.2023
Проблема с использованием ff с функцией SVM в библиотеке (e1071)
Я пытаюсь использовать объект ff для запуска исследования классификации svm.
Я преобразовал свой кадр данных в объект ff, используя ffdf ‹- as.ffdf(signalDF). Набор данных имеет 1024 столбца и ~ 600 тыс. строк.
Когда я запускаю функцию...
56 просмотров
schedule
26.05.2023
