Настройка гиперпараметров с использованием пакета pure ranger в R

Думаю, есть как минимум две ошибки:

Во-первых, функция ranger не имеет параметра с именем training_data. Ваше сообщение об ошибке Error in ranger(Species ~ ., training_data = iris, num.trees = 200) : unused argument (training_data = iris) относится именно к этому. Вы можете увидеть это, если посмотрите на ?ranger или args(ranger).

Во-вторых, функция csrf, с другой стороны, имеет training_data в качестве входных данных, но также требует test_data. Самое главное, что эти два аргумента не имеют значений по умолчанию, что означает, что вы должны их указать. Следующее работает без проблем:

fit.rf = ranger(
  Species ~ ., data = iris,
  num.trees = 200
)

fit.rf.tune = csrf(
Species ~ .,
training_data = iris,
test_data = iris,
params1 = list(num.trees = 25, mtry=4),
params2 = list(num.trees = 50, mtry=4)
)

Здесь я только что предоставил iris как обучающий, так и тестовый набор данных. Очевидно, вы не захотите делать это в своем реальном приложении. Кроме того, обратите внимание, что ranger также принимает num.trees и mtry в качестве входных данных, так что вы можете попробовать настроить их там.

Чтобы ответить на мой (неясный) вопрос, очевидно, что у рейнджера нет встроенной функции CV / GridSearch. Однако вот как вы настраиваете гиперпараметры с помощью рейнджера (через поиск по сетке) вне каретки. Спасибо Марвину Райту (сопровождающему рейнджера) за код. Оказалось, что каретка CV с рейнджером была для меня медленной, потому что я использовал интерфейс формулы (чего следует избегать).

ptm <- proc.time()
library(ranger)
library(mlr)

# Define task and learner
task <- makeClassifTask(id = "iris",
                        data = iris,
                        target = "Species")

learner <- makeLearner("classif.ranger")

# Choose resampling strategy and define grid
rdesc <- makeResampleDesc("CV", iters = 5)
ps <- makeParamSet(makeIntegerParam("mtry", 3, 4),
                   makeDiscreteParam("num.trees", 200))

# Tune
res = tuneParams(learner, task, rdesc, par.set = ps,
           control = makeTuneControlGrid())

# Train on entire dataset (using best hyperparameters)
lrn = setHyperPars(makeLearner("classif.ranger"), par.vals = res$x)
m = train(lrn, iris.task)

print(m)
print(proc.time() - ptm) # ~6 seconds

Для любопытных эквивалент каретки:

ptm <- proc.time()
library(caret)
data(iris)

grid <-  expand.grid(mtry = c(3,4))

fitControl <- trainControl(method = "CV",
                           number = 5,
                           verboseIter = TRUE)

fit = train(
  x = iris[ , names(iris) != 'Species'],
  y = iris[ , names(iris) == 'Species'],
  method = 'ranger',
  num.trees = 200,
  tuneGrid = grid,
  trControl = fitControl
)
print(fit)
print(proc.time() - ptm) # ~2.4 seconds

В целом, каретка - это самый быстрый способ выполнить поиск по сетке с помощью ranger, если вы используете интерфейс без формул.

Обратите внимание, что mlr по умолчанию отключает внутреннее распараллеливание рейнджера. Установите гиперпараметр num.threads на количество ядер, доступных для mlr увеличения:

learner <- makeLearner("classif.ranger", num.threads = 4)

В качестве альтернативы можно запустить параллельный бэкэнд через

parallelStartMulticore(4) # linux/osx
parallelStartSocket(4)    # windows

перед вызовом tuneParams для распараллеливания настройки.

Другой способ настроить модель - создать ручную сетку, возможно, есть более эффективные способы обучения модели, но это может быть другой вариант.

hyper_grid <- expand.grid(
  mtry       = 1:4,
  node_size  = 1:3,
  num.trees = seq(50,500,50),
  OOB_RMSE   = 0
)

system.time(
  for(i in 1:nrow(hyper_grid)) {
    # train model
    rf <- ranger(
      formula        = Species ~ .,
      data           = iris,
      num.trees      = hyper_grid$num.trees[i],
      mtry           = hyper_grid$mtry[i],
      min.node.size  = hyper_grid$node_size[i],
      importance = 'impurity')
    # add OOB error to grid
    hyper_grid$OOB_RMSE[i] <- sqrt(rf$prediction.error)
  })
user  system elapsed 
3.17    0.19    1.36

nrow(hyper_grid) # 120 models
position = which.min(hyper_grid$OOB_RMSE)
head(hyper_grid[order(hyper_grid$OOB_RMSE),],5)
     mtry node_size num.trees     OOB_RMSE
6     2         2        50 0.1825741858
23    3         3       100 0.1825741858
3     3         1        50 0.2000000000
11    3         3        50 0.2000000000
14    2         1       100 0.2000000000

# fit best model
rf.model <- ranger(Species ~ .,data = iris, num.trees = hyper_grid$num.trees[position], importance = 'impurity', probability = FALSE, min.node.size = hyper_grid$node_size[position], mtry = hyper_grid$mtry[position])
rf.model
Ranger result

Call:
 ranger(Species ~ ., data = iris, num.trees = hyper_grid$num.trees[position], importance = "impurity", probability = FALSE, min.node.size = hyper_grid$node_size[position], mtry = hyper_grid$mtry[position]) 

    Type:                             Classification 
Number of trees:                  50 
Sample size:                      150 
Number of independent variables:  4 
Mtry:                             2 
Target node size:                 2 
Variable importance mode:         impurity 
Splitrule:                        gini 
OOB prediction error:             5.33 % 

Надеюсь, это вам поможет.

Также существует пакет tuneRanger R, который специально разработан для настройки рейнджера и использует предопределенные параметры настройки, гиперпараметр. пространства и интеллектуальная настройка с использованием нестандартных наблюдений.

Обратите внимание, что случайный лес - это не алгоритм, настройка которого обычно имеет большое значение. Но обычно это может немного улучшить производительность.