В этом уроке мы углубимся в бустинг, метод ансамблевого обучения, который последовательно объединяет несколько моделей для повышения точности. Мы сосредоточимся на построении интуиции вокруг трех популярных алгоритмов повышения: AdaBoost, Gradient Boosting и XGBoost.
AdaBoost (адаптивное повышение). AdaBoost — один из первых разработанных алгоритмов повышения. Он обучает последовательность слабых моделей (обычно неглубокие деревья решений) на обучающих данных. Каждая модель пытается исправить ошибки, допущенные предыдущей, путем корректировки весов обучающих экземпляров. Экземпляры, которые были неправильно классифицированы предыдущей моделью, получают более высокие веса, что делает их более важными для обучения следующей модели.
Интуиция: AdaBoost похож на учителя, который уделяет больше внимания ученикам, которые борются с определенной концепцией. Сосредоточив внимание на своих ошибках, учитель помогает ученикам шаг за шагом улучшать свое понимание.
Окончательный прогноз получается путем взвешенного голосования прогнозов отдельных моделей. Веса моделей определяются их точностью на обучающих данных.
Повышение градиента. Повышение градиента — это еще один алгоритм повышения, который обучает последовательность слабых моделей (обычно деревьев решений) на обучающих данных. В отличие от AdaBoost, который регулирует веса экземпляров, Gradient Boosting фокусируется на минимизации функции потерь с помощью алгоритма градиентного спуска.
Интуиция: Gradient Boosting похож на альпиниста, пытающегося найти самую низкую точку в долине (минимизируя функцию потерь), следуя по самому крутому пути вниз (используя алгоритм градиентного спуска).
Каждая новая модель пытается исправить ошибки, допущенные предыдущей моделью, путем подбора остаточных ошибок (разница между истинными значениями и текущими прогнозами). Окончательный прогноз получается путем суммирования вкладов всех отдельных моделей.
XGBoost (eXtreme Gradient Boosting): XGBoost — это оптимизированная версия алгоритма Gradient Boosting, разработанная для обеспечения скорости и производительности. Он включает в себя дополнительные функции, такие как регуляризация для предотвращения переобучения и возможность обработки отсутствующих данных.
Интуиция: XGBoost можно рассматривать как гонщика, который не только сосредоточен на быстрой езде (оптимизация скорости и производительности), но и принимает меры предосторожности, чтобы избежать аварий (регуляризация и обработка отсутствующих данных).
XGBoost стал одним из самых популярных алгоритмов бустинга благодаря своей эффективности и результативности в различных соревнованиях по машинному обучению.
Таким образом, алгоритмы повышения, такие как AdaBoost, Gradient Boosting и XGBoost, представляют собой мощные ансамблевые методы, которые последовательно обучают несколько моделей для повышения точности. Каждый алгоритм имеет свой уникальный подход к обучению на ошибках и объединению моделей. Понимая интуицию, стоящую за этими алгоритмами, мы можем принимать более обоснованные решения при построении и оценке моделей машинного обучения.
