gbtree Booster использует версию дерева регрессии в качестве слабого обучаемого

gblinear использует (обобщенную) линейную регрессию со сжатием l1 и l2. Но поскольку это аддитивный процесс и поскольку линейная регрессия сама по себе является аддитивной моделью, сохраняются только коэффициенты комбинированной линейной модели.

dart перенял метод исключения из нейронных сетей в пользу ускоренной регрессии. Необходимо настроить несколько параметров:

  • skip_drop (по умолчанию = 0, диапазон [0, 1]) - вероятность пропуска отсева. Он имеет более высокий приоритет, чем другие параметры DART. Если skip_drop = 1, процедура исключения будет пропущена, и dart будет таким же, как gbtree.
  • Если skip_drop ≠ 0, rate_drop (default = 0, range [0, 1]) будет отбрасывать часть деревьев перед обновлением модели на каждой итерации. dropout делает метание между gbtree и случайным лесом: «Если дерево не отбрасывается, то dart совпадает с (gbtree); если все деревья упадут, дротик ничем не отличается от случайного леса ».
  • Если one_drop = 1, то по крайней мере одно дерево всегда удаляется. Если я позволю rate_drop = 0, но one_drop = 1, отбрасывание все равно будет работать, и деревья будут построены более консервативным образом.

Ссылка:



Изучите усадку и DART в моделировании xgboost с использованием простого набора данных
Всегда полезно изучить пакетный алгоритм на простом примере. Вдохновленный… liuyanguu.github.io моего коллеги Коди





Gblinear vs GbTree · Проблема № 981 · dmlc / xgboost
Dismiss GitHub является домом для более 40 миллионов разработчиков, работающих вместе над размещением и проверкой кода, управлением проектами и… github.com