Эта серия («Методы пакетирования и усиления ансамбля и в чем разница между ними?») состоит из 6 отдельных статей и является четвертой статьей в этой серии. В этой части мы поговорим о Что такое метод «усиления» ансамбля?

О проблеме с мешками я писал в предыдущей статье. Кроме того, мы можем увидеть разницу между ускорением и ускорением, указанным выше, но давайте попробуем увидеть, как система работает в фоновом режиме, и, наконец, расскажем о плюсах и минусах.

Все индивидуальные модели формируются методом бустинга последовательно. Это означает, что результат первой модели передается следующей модели.

В методе упаковки модели строятся одновременно, поэтому мы не знаем погрешность каждой модели. Однако, как только первая модель будет создана в методе повышения, мы узнаем ошибку этой модели. Поэтому, когда мы переносим эту первую модель в следующую, наше общее намерение состоит в том, чтобы еще больше уменьшить ошибку. В некоторых алгоритмах повышения, каждая модель должна иметь минимальное снижение ошибок на 50%.

В отличие от бэггинга, не все наблюдения в примере начальной загрузки обрабатываются одинаково, когда дело доходит до ускорения. Наблюдения будут иметь вес, а для некоторых вес будет меньше для других.

Предположим, мы создали модель бинарной классификации. Первая модель не предсказывает цель правильно (точно), а затем входные данные для следующей модели поступают по порядку и больше фокусируются на предсказании цели.

Некоторые наблюдения будут иметь больший вес при выборе выборок данных из загрузочной выборки. В этом случае точки данных будут иметь более высокий вес, чем другие точки данных, и место назначения может помочь в точном прогнозировании.

В конечном задании будут взвешены оценки всех моделей. Следовательно, нашей окончательной оценкой будет средневзвешенное значение.

Какие плюсы и минусы вкратце:

Повышение, все отдельные модели будут происходить одна за другой. Выходные данные каждой модели вместе с данными загрузочного образца следующей модели передаются в качестве входных данных для следующей модели.

Алгоритмы повышения

Следующие названия алгоритмов являются примерами метода Boosting. Вы можете найти множество таких примеров на моем аккаунте Kaggle.

  • AdaBoost
  • XGBoost
  • LightGBM
  • CatBoost
  • LPBoost
  • GradientBoost
  • BrownBoost

Позвольте мне положить конец нашей теме здесь и сказать, что мы увидимся в нашей следующей теме, В чем разница между пакетированием и повышением в древовидных методах?

Ссылки
1. https://www.pluralsight.com/guides/ensemble-methods:-bagging-versus-boosting
2. https: // www .researchgate.net / figure / Схема-представление-градиент-бустинг-регрессии-в-отношении-алгоритме_fig3_340524896
3. https://dataaspirant.com/ensemble-methods-bagging-vs- boosting-difference / # t-1599488265671
4. https://www.kaggle.com/mathchi/notebooks
5. http://www.plusxp.com/2011/02 / назад-в-будущее-игра-эпизод-1-обзор /