Вопросы по теме 'mclapply'

R Проверка на дубликаты мучительно медленная, даже с mclapply
У меня есть данные о повторных продажах нескольких автомобилей с уникальными идентификаторами. Автомобиль может быть продан более одного раза. Однако некоторые из идентификаторов ошибочны, поэтому я проверяю для каждого идентификатора, записан ли...
1074 просмотров
schedule 28.10.2022

Knitr: перенаправить вывод фрагмента кода на терминал
Я хочу отслеживать довольно длинные параллельные вычисления, встроенные в файл Knitr. Вычисления основаны на пакете, который я написал, и соответствующая функция использует mclapply из пакета multicore для распараллеливания. Эта функция выводит...
1069 просмотров
schedule 27.02.2024

Ядра mclapply проводят много времени в непрерывном сне
Это несколько общий вопрос, за который я прошу прощения, но я не могу создать пример кода, воспроизводящий поведение. Мой вопрос таков: я оцениваю большой набор данных (~ 11 миллионов строк с 274 измерениями), разбивая набор данных на список кадров...
435 просмотров
schedule 08.02.2023

Как конвертировать в mclapply?
У меня есть это: # A simple "script" that receives an index ScriptR = function(i) { A = i^3; }; # With "for", pass the index "i" for "ScriptR" for (i in 1:10) { ScriptR(i); }; # How do I pass the index "i" for "ScriptR"...
94 просмотров
schedule 12.04.2023

как отслеживать прогресс в mclapply в R в параллельном пакете
Мой вопрос связан с этим вопросом . Однако в упомянутом выше вопросе используется пакет multicore , который был заменен на parallel . Большинство функций в ответе не могут быть воспроизведены в пакете parallel . Есть ли способ отслеживать...
2325 просмотров
schedule 14.03.2022

Заменить функцию apply на lapply
Я создаю набор данных для вычисления совокупных значений для различных комбинаций слов с помощью регулярного выражения. Каждая строка имеет уникальное значение регулярного выражения, которое я хочу сравнить с другим набором данных и узнать, сколько...
1016 просмотров
schedule 03.06.2024

Юлия пмап производительность
Я пытаюсь перенести часть своего R-кода на Джулию; В основном я переписал следующий код R в Джулии: library(parallel) eps_1<-rnorm(1000000) eps_2<-rnorm(1000000) large_matrix<-ifelse(cbind(eps_1,eps_2)>0,1,0) matrix_to_compare =...
620 просмотров
schedule 17.11.2022

ошибка mclapply sendmaster только с Rscript
Я периодически получаю следующую ошибку при использовании Rscript для вызова mclapply из командной строки: Error in sendMaster(try(lapply(X = S, FUN = FUN, ...), silent = TRUE)) : write error, closing pipe to the master Если я запускаю...
903 просмотров

mclapply возвращает NULL в простом примере
Я заметил некоторые проблемы с параллельной обработкой в ​​моей среде, я получил необъяснимые значения NULL в своих списках. Ниже приведен простой пример, который создает NULL. library(parallel) print(sessionInfo()) print(paste("Number of...
262 просмотров
schedule 26.03.2023

Увеличение mc.cores сверх количества логических ядер
Поэкспериментировав с функцией R parallel::mclapply , я обнаружил, что аргумент mc.cores можно выбрать больше, чем количество логических ядер (на что указывает parallel::detectCores ), в результате чего ускорение превысит количество логических...
188 просмотров
schedule 11.04.2022

mclapply использует все ядра, но не все потоки
У меня есть 4-ядерный Mac с 8 потоками. Насколько я понимаю mclapply() , он должен использовать 8 потоков в качестве процессоров, но когда я запускаю свой скрипт, я вижу, что работают только 4 потока. В моем примере я использую вложенный список,...
282 просмотров

заменить вложенные циклы for в многомерном массиве на mclapply()
Я пытаюсь выполнить действие над четырехмерным массивом. Этот массив оказывается невероятно большим, но он необходим для данных, которые я обрабатываю. Теперь сам процесс идет хорошо, но я хочу подготовить его к параллельным вычислениям. У меня...
48 просмотров
schedule 22.05.2022

Все запланированные ядра столкнулись с ошибками в пользовательском коде (неожиданный символ), но такого кода нет
/ РЕДАКТИРОВАТЬ: Моя проблема была решена. Оказывается, это действительно была ошибка, не связанная с parallel . Привет, сообщество StackOverflow, сегодня у меня довольно странная проблема. У меня есть функция, которую я вызываю для запуска на...
107 просмотров
schedule 29.11.2022