Вопросы по теме 'parallel-foreach'
тройной цикл с использованием R foreach
Я попытался использовать параллельный пакет R foreach для тройного цикла for. out должен быть трехмерным массивом, и я продолжаю получать двумерную матрицу. Простой пример:
library(foreach)
library(doParallel)
aa <- seq(1,10, length=4)...
316 просмотров
schedule
12.10.2022
Вложенные циклы for в R с использованием функции foreach и библиотеки doParallel
Я пытаюсь вычислить косинусное сходство между столбцами в матрице. Я могу заставить его работать, используя стандартные циклы for, но когда я пытаюсь заставить его работать параллельно, чтобы код работал быстрее, он не дает мне того же ответа....
3914 просмотров
schedule
28.01.2023
R распараллелить цикл for при чтении данных из списка
У меня есть цикл for, который я хотел бы запустить параллельно с R . Следующий цикл проходит через каждый продукт в базе данных, используя index m (всего у меня есть M продуктов для оценки). Я передаю в качестве входных данных для своей функции...
75 просмотров
schedule
30.08.2023
Распараллеливание не работает с пакетом foreach
Используя пакет foreach, я ожидал, что следующая строка будет запущена примерно через 10 секунд.
system.time(foreach (i=1:5, .combine='c') %do% {Sys.sleep(2);i})
user system elapsed
0.053 0.011 10.012
и следующая строка будет...
3961 просмотров
schedule
09.06.2022
Объект параллельной общей памяти R (Windows)
У меня есть большая таблица данных. Каждый параллельный процесс читает из него, обрабатывает данные и возвращает гораздо меньшую таблицу данных. Я не хочу, чтобы большое DT копировалось во все процессы, но, похоже, функция %dopar% в пакете...
980 просмотров
schedule
09.07.2023
Параллельная обработка в R doParallel foreach
Я написал сценарий, который работает нормально, но, похоже, он не выполняет параллельную обработку. Я попытался изменить количество ядер с 3 на 16, но скорость генерации данных не изменилась. Может ли кто-нибудь сообщить мне, что я делаю неправильно...
360 просмотров
schedule
06.06.2023
Параллельная обработка в R сделана неправильно?
У меня есть код, который я пытаюсь обработать параллельно с помощью пакета foreach. Код работает, но когда я запускаю его на компьютере с 4 ядрами, это занимает около 26 минут, а когда я переключаюсь на компьютер с 32 ядрами, для завершения...
200 просмотров
schedule
24.12.2022
Преобразование вложенного цикла for в параллельный в R
Ниже вы можете найти фрагмент кода на R, который я хотел бы преобразовать для запуска в виде параллельного процесса с использованием нескольких процессоров. Я пытался использовать пакет foreach , но далеко не продвинулся. Я не смог найти хороший...
4831 просмотров
schedule
07.06.2023
Как вести журнал при использовании foreach (print или futile.logger)
Я хочу использовать пакет foreach в сочетании с ведением журнала. Обычно я использую пакет futile.logger . Когда работа передается работникам, информация о журнале теряется (что странно, поскольку вам нужно указать для каждого пакета ведения...
1728 просмотров
schedule
08.10.2022
Параллельная обработка, внутренний цикл, можем ли мы получить доступ к степени параллелизма?
В следующем цикле я хочу добавить логику, чтобы сказать, что если процессор 1 сделает это, если процессор 2 сделает то и т. д. Я пробовал различные свойства, такие как...
Console.WriteLine("Domain ID = " + Thread.GetDomainID().ToString());...
479 просмотров
schedule
23.12.2022
Как пакет foreach распространяется на R Environments при использовании as.formula, SE dplyr и lapply?
У меня есть функция, в которой я динамически создаю несколько формул в виде строк и привожу их к формулам с as.formula . Затем я вызываю эту функцию в параллельном процессе, используя doSNOW и foreach , и использую эти формулы через...
379 просмотров
schedule
13.02.2024
Критерий остановки в foreach
Мне нужно остановить параллельный цикл с условием, например, когда res < 1 . MWE дается кодом ниже
library(foreach)
library(doParallel)
I <- 1000
L <- 1000
res <- Inf
cores <- detectCores()
cluster <-...
64 просмотров
schedule
07.03.2023
Ошибка в {: задача 3 не удалась - RcallMethod: попытка вызвать метод объекта NULL.
Любая помощь в этом будет принята с благодарностью.
У меня есть следующий код R (следуя руководству по адресу https://www.r-bloggers.com/parallel-r-loops-for-windows-and-linux/ ) для параллельного выполнения 233 взаимоисключающих вычислений. На...
1107 просмотров
schedule
16.06.2022
Как обновить `data.table` в `foreach` по ссылке
Я прочитал большой файл .csv в файл data.table , используя fread . На следующем этапе я выполняю некоторые операции по очистке данных, такие как преобразование некоторых символьных переменных в даты.
Решение с оптимизацией памяти
Вот мое...
1173 просмотров
schedule
09.04.2024
Экспорт именованной переменной в цикле foreach
У меня есть большая таблица data.table (+12 млн строк), которую мне нужно преобразовать следующим образом: Сверните каждую строку с одинаковым значением первого столбца (назовем ее BookId) в 1 строку и объедините другие столбцы в большую "данные". "...
497 просмотров
schedule
30.10.2022
Ошибка параллельной обработки с foreach: не удалось найти функцию% dopar%
У меня проблемы с параллельной обработкой с использованием функции foreach в R.
Следующий код отлично работает:
library(foreach)
library(doParallel)
city_list <- c("city1", "city2")
date_list <- c("date1", "date2")
city_date_list <-...
518 просмотров
schedule
30.08.2022
LINQ To SQL в параллельном цикле: как предотвратить повторяющиеся вставки?
У меня возникают проблемы при попытке распараллелить дорогостоящую интеграцию API.
Интеграция параллельно запрашивает API и заполняет коллекцию ConcurrentBag . Выполняется некоторая обработка, а затем она передается в Parallel.ForEach() , в...
233 просмотров
schedule
19.11.2022
Разработка пакета R, тестирование с помощью foreach и одновременный запуск симуляций с другой версией пакета
Я пишу почти весь свой R-код в пакетах на работе (и использую git). Я активно использую devtools , в частности короткие пути для load_all и т. д., когда обновляю функции, используемые в пакете. У меня есть приблизительное представление о...
215 просмотров
schedule
03.12.2023
r — загрузка нескольких файлов в отдельные подпапки с помощью foreach — ошибка с setwd
У меня есть следующий код, который загружает ссылку в соответствующую папку › подпапку. Этот код отлично работает, хотя и очень медленный. У меня есть пара сотен файлов .zip, которые я пытаюсь загрузить, чтобы их можно было обработать.
В структуре...
64 просмотров
schedule
16.05.2023
