Вопросы по теме 'mclapply'
R Проверка на дубликаты мучительно медленная, даже с mclapply
У меня есть данные о повторных продажах нескольких автомобилей с уникальными идентификаторами. Автомобиль может быть продан более одного раза.
Однако некоторые из идентификаторов ошибочны, поэтому я проверяю для каждого идентификатора, записан ли...
1074 просмотров
schedule
28.10.2022
Knitr: перенаправить вывод фрагмента кода на терминал
Я хочу отслеживать довольно длинные параллельные вычисления, встроенные в файл Knitr.
Вычисления основаны на пакете, который я написал, и соответствующая функция использует mclapply из пакета multicore для распараллеливания. Эта функция выводит...
1069 просмотров
schedule
27.02.2024
Ядра mclapply проводят много времени в непрерывном сне
Это несколько общий вопрос, за который я прошу прощения, но я не могу создать пример кода, воспроизводящий поведение. Мой вопрос таков: я оцениваю большой набор данных (~ 11 миллионов строк с 274 измерениями), разбивая набор данных на список кадров...
435 просмотров
schedule
08.02.2023
Как конвертировать в mclapply?
У меня есть это:
# A simple "script" that receives an index
ScriptR = function(i) {
A = i^3;
};
# With "for", pass the index "i" for "ScriptR"
for (i in 1:10) {
ScriptR(i);
};
# How do I pass the index "i" for "ScriptR"...
94 просмотров
schedule
12.04.2023
как отслеживать прогресс в mclapply в R в параллельном пакете
Мой вопрос связан с этим вопросом . Однако в упомянутом выше вопросе используется пакет multicore , который был заменен на parallel . Большинство функций в ответе не могут быть воспроизведены в пакете parallel . Есть ли способ отслеживать...
2325 просмотров
schedule
14.03.2022
Заменить функцию apply на lapply
Я создаю набор данных для вычисления совокупных значений для различных комбинаций слов с помощью регулярного выражения. Каждая строка имеет уникальное значение регулярного выражения, которое я хочу сравнить с другим набором данных и узнать, сколько...
1016 просмотров
schedule
03.06.2024
Юлия пмап производительность
Я пытаюсь перенести часть своего R-кода на Джулию; В основном я переписал следующий код R в Джулии:
library(parallel)
eps_1<-rnorm(1000000)
eps_2<-rnorm(1000000)
large_matrix<-ifelse(cbind(eps_1,eps_2)>0,1,0)
matrix_to_compare =...
620 просмотров
schedule
17.11.2022
ошибка mclapply sendmaster только с Rscript
Я периодически получаю следующую ошибку при использовании Rscript для вызова mclapply из командной строки:
Error in sendMaster(try(lapply(X = S, FUN = FUN, ...), silent = TRUE)) :
write error, closing pipe to the master
Если я запускаю...
903 просмотров
schedule
16.06.2023
mclapply возвращает NULL в простом примере
Я заметил некоторые проблемы с параллельной обработкой в моей среде, я получил необъяснимые значения NULL в своих списках. Ниже приведен простой пример, который создает NULL.
library(parallel)
print(sessionInfo())
print(paste("Number of...
262 просмотров
schedule
26.03.2023
Увеличение mc.cores сверх количества логических ядер
Поэкспериментировав с функцией R parallel::mclapply , я обнаружил, что аргумент mc.cores можно выбрать больше, чем количество логических ядер (на что указывает parallel::detectCores ), в результате чего ускорение превысит количество логических...
188 просмотров
schedule
11.04.2022
mclapply использует все ядра, но не все потоки
У меня есть 4-ядерный Mac с 8 потоками. Насколько я понимаю mclapply() , он должен использовать 8 потоков в качестве процессоров, но когда я запускаю свой скрипт, я вижу, что работают только 4 потока. В моем примере я использую вложенный список,...
282 просмотров
schedule
19.09.2022
заменить вложенные циклы for в многомерном массиве на mclapply()
Я пытаюсь выполнить действие над четырехмерным массивом. Этот массив оказывается невероятно большим, но он необходим для данных, которые я обрабатываю. Теперь сам процесс идет хорошо, но я хочу подготовить его к параллельным вычислениям. У меня...
48 просмотров
schedule
22.05.2022
Все запланированные ядра столкнулись с ошибками в пользовательском коде (неожиданный символ), но такого кода нет
/ РЕДАКТИРОВАТЬ: Моя проблема была решена. Оказывается, это действительно была ошибка, не связанная с parallel .
Привет, сообщество StackOverflow,
сегодня у меня довольно странная проблема. У меня есть функция, которую я вызываю для запуска на...
107 просмотров
schedule
29.11.2022