Вопросы по теме 'doparallel'
Срок действия соединений RPostgreSQL истекает, как только они инициируются с помощью doParallel clusterEvalQ.
Я пытаюсь настроить параллельную задачу, в которой каждому работнику нужно будет делать запросы к базе данных. Я пытаюсь настроить каждого рабочего с подключением, как показано в этом вопросе , но каждый раз, когда я пытаюсь это сделать возвращает...
1938 просмотров
schedule
07.08.2022
R значение параллельного цикла foreach не сохраняется
При выполнении следующего фиктивного кода:
P = 2
library(foreach)
library(doMC)
registerDoMC(P)
f = double(length = P)
print('=== f values in loop ===')
foreach(c = 1:P) %dopar%
{
f[c] = c
print(f[c])
}
print('### f values after...
1059 просмотров
schedule
28.02.2023
Параллельные вычисления: загрузка пакетов в каждом потоке только один раз
В настоящее время я работаю с некоторыми большими наборами данных, поэтому распараллеливание рабочих процессов — единственный выход.
Мне нужно загрузить некоторые пакеты в каждый поток один раз в начале (например: for(this.thread in threads) {...
2460 просмотров
schedule
16.11.2022
Ошибка тайм-аута рабочего процесса R doParallel foreach и никогда не возвращается
Следующий вопрос - очень подробный вопрос, связанный с вопросом, описанным здесь. Предыдущий вопрос
Используя Ubuntu Server 14.04 LTS, 64-разрядный образ машины Amazon запущен на c4.8xlarge (36 ядер) с R версии 3.2.3.
Рассмотрим следующий код...
970 просмотров
schedule
28.04.2023
Ошибка при запуске lmer с «foreach» и «dopar» в R
Я пытаюсь запустить смешанные модели, используя foreach и dopar, но постоянно получаю сообщение об ошибке: «задача 1 не удалась — не удалось найти функцию lmer».
Вот пример:
library(lme4)
A=c(30,39,52,58,90,102,109,120)
B <-...
152 просмотров
schedule
30.03.2023
Ускорение stringdist в R с помощью Parallel
У меня есть вектор из 300 предложений, и я пытаюсь найти поэлементное расстояние JW, используя пакет stringdist . Время выполнения наивной реализации слишком велико, что заставляет меня искать способы сократить время выполнения. Я пытаюсь...
502 просмотров
schedule
28.04.2024
Непоследовательное поведение с функциями преобразования tm_map при использовании нескольких ядер.
Другим потенциальным заголовком для этого поста может быть «При параллельной обработке в R отношение между количеством ядер, размером фрагмента петли и размером объекта?
У меня есть корпус, в котором я выполняю некоторые преобразования с...
946 просмотров
schedule
04.11.2022
Ошибка в {: задача 3 не удалась - RcallMethod: попытка вызвать метод объекта NULL.
Любая помощь в этом будет принята с благодарностью.
У меня есть следующий код R (следуя руководству по адресу https://www.r-bloggers.com/parallel-r-loops-for-windows-and-linux/ ) для параллельного выполнения 233 взаимоисключающих вычислений. На...
1107 просмотров
schedule
16.06.2022
Пакет R, содержащий foreach, будет работать с doParallel, но не с doMPI, не может найти объект
Я пытаюсь написать пакет R, который содержит несколько вложенных функций в операторе foreach и бэкэнде doMPI. Он выдает ошибку «не могу найти объект «XXX». Странно то, что эта ошибка не возникает, если я использую doParallel в качестве бэкэнда. Это...
558 просмотров
schedule
12.06.2022
foreach %dopar% приводит к ошибкам «не удается найти функцию», когда функция, которую нужно распараллелить, является элементом списка
Я успешно распараллелил функцию — назовем ее AddOne — с помощью пакета doParallel , foreach и %dopar% , и я знаком с аргументами .packages и .export для foreach .
Моя проблема в том, что я хотел бы, чтобы AddOne вместо «автономной»...
1179 просмотров
schedule
29.08.2022
Назначение пути к файлу на рабочем хосте при использовании doParallel в R
Я работаю на одной машине с 8 ядрами. Я хочу регистрировать stdout и stderr в файле журнала, используя параметр outfile в makeCluster.
cl = makeCluster(detectCores() - 1,
outfile = "log.txt")
Приведенный выше код...
202 просмотров
schedule
25.05.2023
Пакет R gamlss, используемый внутри foreach(), не может найти объект
Я пытаюсь получить прогнозируемые значения с исключением одного. Пожалуйста, помогите мне с этой проблемой "не могу найти объект". Я искал похожие проблемы, но не смог разобраться. Это на виндовс 10.
заранее спасибо
library('gamlss')...
372 просмотров
schedule
17.10.2023
Проблема с областью видимости при использовании doParallel
Я пытаюсь оценить несколько непараметрических моделей, используя пакет doParallel . Моя проблема, похоже, связана с пакетом np . Взгляните на этот воспроизводимый пример:
library(np)
library(doParallel)
df <- data.frame(Y = runif(100,...
41 просмотров
schedule
08.01.2023
Параллельный сервер R: что происходит, когда один процесс сталкивается с исключением?
Я использую foreach + %dopar% для достижения параллелизма на нескольких ядрах. Я знаю, что некоторые задачи столкнутся с исключениями. Когда возникает исключение:
Будут ли выполняться оставшиеся задачи, которые уже были запущены...
66 просмотров
schedule
14.12.2022
R: doParallel (FORK), foreach и генерация случайных чисел
При запуске цикла foreach с использованием пакета doParallel в R и FORK каждый рабочий запускается с одинаковым случайное начальное число, что приводит к дублированию «случайных» чисел.
set.seed(1)
cl <- makeCluster(2, type = "FORK")...
1080 просмотров
schedule
05.10.2022
R: doSNOW/foreach создать список из списка
Привет, я хотел бы создать именованный список с помощью пакета doSNOW/foreach. Например, конечным продуктом будет объект списка. dfe, названный из вектора, скажем,
n=c("n1","n2","n3","n4","n5")
так что я могу получить доступ к списку...
660 просмотров
schedule
13.05.2022
Re: не могу найти функцию в R даже после установки пакетов
У меня есть этот код для моей статьи, и он все еще не может найти функцию, даже когда я правильно переустановил необходимые пакеты.
expoUtility <- function(x, alpha, param_beta, W){
(1-exp(-alpha*(W + x)^(1-param_beta)))/alpha
}...
274 просмотров
schedule
05.06.2022
Параллельное вычисление расстояния Гауэра в R
Я пытаюсь вычислить расстояние Гауэра между наблюдениями за одним набором данных. Я нашел полезную функцию по следующей ссылке: https://www.kaggle.com/olivermeyfarth/parallel-computation-of-gower-distance?scriptVersionId=46656 , который содержит...
358 просмотров
schedule
20.02.2023
сохранить частичные результаты в цикле foreach в R
Я хочу знать, сколько циклов было выполнено, и сохранить результаты каждого законченного цикла, но функция assign и cat не работают.
library(doParallel)
library(foreach)
library(Matrix)
rm(list=ls())
cl=makeCluster(2)
registerDoParallel(cl)...
506 просмотров
schedule
20.06.2022
Анимированный линейный график с параллельной обработкой
Что я хочу сделать:
Я пытаюсь построить анимированный линейный сюжет за заданный период времени (в месяцах и годах). Поскольку у меня много записей, я хотел сделать это с помощью параллельной обработки, чтобы увеличить скорость. Я использовал...
259 просмотров
schedule
08.03.2023
