У меня есть функция, в которой я динамически создаю несколько формул в виде строк и привожу их к формулам с as.formula
. Затем я вызываю эту функцию в параллельном процессе, используя doSNOW
и foreach
, и использую эти формулы через dplyr::mutate_
.
Когда я использую lapply(formula_list, as.formula)
, я получаю ошибку could not find function *custom_function*
при параллельном запуске, хотя он отлично работает при локальном запуске. Однако, когда я использую lapply(formula_list, function(x) as.formula(x)
, он работает как параллельно, так и локально.
Почему? Каков правильный способ понимания окружения и "правильный" способ его кодирования?
Я получаю предупреждение, которое говорит: In e$fun(obj, substitute(ex), parent.frame(), e$data) : already exporting variable(s): *custom_func*
Минимальный воспроизводимый пример приведен ниже.
# Packages
library(dplyr)
library(doParallel)
library(doSNOW)
library(foreach)
# A simple custom function
custom_sum <- function(x){
sum(x)
}
# Functions that call create formulas and use them with nse dplyr:
dplyr_mut_lapply_reg <- function(df){
my_dots <- setNames(
object = lapply(list("~custom_sum(Sepal.Length)"), as.formula),
nm = c("Sums")
)
return(
df %>%
group_by(Species) %>%
mutate_(.dots = my_dots)
)
}
dplyr_mut_lapply_lambda <- function(df){
my_dots <- setNames(
object = lapply(list("~custom_sum(Sepal.Length)"), function(x) as.formula(x)),
nm = c("Sums")
)
return(
df %>%
group_by(Species) %>%
mutate_(.dots = my_dots)
)
}
#1. CALLING BOTH LOCALLY
dplyr_mut_lapply_lambda(iris) #works
dplyr_mut_lapply_reg(iris) #works
#2. CALLING IN PARALLEL
#Faux Parallel Setup
cl <- makeCluster(1, outfile="")
registerDoSNOW(cl)
# Call Lambda Version WORKS
foreach(j = 1,
.packages = c("dplyr", "tidyr"),
.export = lsf.str()
) %dopar% {
dplyr_mut_lapply_lambda(iris)
}
# Call Regular Version FAILS
foreach(j = 1,
.packages = c("dplyr", "tidyr"),
.export = lsf.str()
) %dopar% {
dplyr_mut_lapply_reg(iris)
}
# Close Cluster
stopCluster(cl)
РЕДАКТИРОВАТЬ: В своем первоначальном заголовке сообщения я написал, что использую nse, но я действительно имел в виду стандартную оценку. Упс. Я изменил это соответственно.