В основе случайного леса лежит оценка прогнозов, сгенерированных несколькими деревьями решений.

· Результатом является сочетание подходов Бэгинга (Брейман, 1996) и Случайного подпространства (Хо, 1998).

· Метод начальной случайной выборки используется для выбора наблюдений для деревьев, а метод случайного подпространства используется для выбора переменных.

· Лучшая переменная ветвления (прироста информации) выбирается из меньшего числа переменных, случайно выбранных из всех переменных в каждом узле дерева решений.

· 2/3 набора данных используется при построении дерева. Исключенные данные используются для оценки производительности деревьев и определения значимости переменных.

· В каждом узле выбирается случайная величина.

Случайное выражение используется, потому что процесс случайного выбора производится из единиц наблюдения и меньшее количество переменных выбирается из переменных перед началом процесса деления в созданных деревьях.

Бэггинг. Это однородная модель слабого ученика, которая объединяет отдельные параллельные обучения для расчета среднего значения модели.

Ускорение. Функционирует не так, как Бэггинг, несмотря на то, что является однородной моделью для слабых учащихся. В этой стратегии учащиеся приобретают знания постепенно и адаптивно, чтобы улучшить предсказания алгоритма обучения.

В чем разница между методами бэггинга и повышения?

В методе мешков деревья не имеют зависимостей друг от друга. В методе повышения деревья строятся из остатков. Следовательно, деревья имеют взаимозависимости.

  • Бэггинг помогает уменьшить дисперсию модели.
  • Повышение помогает уменьшить смещение модели.