Эта серия («Методы пакетирования и усиления ансамбля и в чем разница между ними?») состоит из 6 отдельных статей и является четвертой статьей в этой серии. В этой части мы поговорим о Что такое метод «усиления» ансамбля?
О проблеме с мешками я писал в предыдущей статье. Кроме того, мы можем увидеть разницу между ускорением и ускорением, указанным выше, но давайте попробуем увидеть, как система работает в фоновом режиме, и, наконец, расскажем о плюсах и минусах.
Все индивидуальные модели формируются методом бустинга последовательно. Это означает, что результат первой модели передается следующей модели.
В методе упаковки модели строятся одновременно, поэтому мы не знаем погрешность каждой модели. Однако, как только первая модель будет создана в методе повышения, мы узнаем ошибку этой модели. Поэтому, когда мы переносим эту первую модель в следующую, наше общее намерение состоит в том, чтобы еще больше уменьшить ошибку. В некоторых алгоритмах повышения, каждая модель должна иметь минимальное снижение ошибок на 50%.
В отличие от бэггинга, не все наблюдения в примере начальной загрузки обрабатываются одинаково, когда дело доходит до ускорения. Наблюдения будут иметь вес, а для некоторых вес будет меньше для других.
Предположим, мы создали модель бинарной классификации. Первая модель не предсказывает цель правильно (точно), а затем входные данные для следующей модели поступают по порядку и больше фокусируются на предсказании цели.
Некоторые наблюдения будут иметь больший вес при выборе выборок данных из загрузочной выборки. В этом случае точки данных будут иметь более высокий вес, чем другие точки данных, и место назначения может помочь в точном прогнозировании.
В конечном задании будут взвешены оценки всех моделей. Следовательно, нашей окончательной оценкой будет средневзвешенное значение.
Какие плюсы и минусы вкратце:
Повышение, все отдельные модели будут происходить одна за другой. Выходные данные каждой модели вместе с данными загрузочного образца следующей модели передаются в качестве входных данных для следующей модели.
Алгоритмы повышения
Следующие названия алгоритмов являются примерами метода Boosting. Вы можете найти множество таких примеров на моем аккаунте Kaggle.
- AdaBoost
- XGBoost
- LightGBM
- CatBoost
- LPBoost
- GradientBoost
- BrownBoost
Позвольте мне положить конец нашей теме здесь и сказать, что мы увидимся в нашей следующей теме, В чем разница между пакетированием и повышением в древовидных методах?
Ссылки
1. https://www.pluralsight.com/guides/ensemble-methods:-bagging-versus-boosting
2. https: // www .researchgate.net / figure / Схема-представление-градиент-бустинг-регрессии-в-отношении-алгоритме_fig3_340524896
3. https://dataaspirant.com/ensemble-methods-bagging-vs- boosting-difference / # t-1599488265671
4. https://www.kaggle.com/mathchi/notebooks
5. http://www.plusxp.com/2011/02 / назад-в-будущее-игра-эпизод-1-обзор /