Как работает бустинг?
Идея повышения
Используйте много слабых учеников (предикторов), которые хорошо справляются с классификацией по-разному.
Слабые ученики
- Предиктор, который лишь немного коррелирует с фактическим прогнозом.
В общем… много «хороших» предикторов, которые объединяются в один хороший предиктор.
Что такое продвижение?
Метод взвешенного ансамбля.
- В отличие от бэггинга, бустинг использует разные веса для получения разных предикторов.
- Увеличьте веса для примеров, в которых более ранние предикторы могли ошибаться.
- Тренируйте последовательное обновление на основе ошибок.
Процесс повышения
Первый шаг:
- Используйте подмножества исходных данных для создания серии среднеэффективных моделей.
Второй шаг:
- Повысьте производительность этих моделей, используя определенную функцию стоимости для объединения предикторов для минимизации ошибок.
- Эта функция стоимости варьируется в зависимости от функции повышения
- Например: Gradient Tree Boosting использует градиентный спуск.
Методология загрузки
Усиление в ядре
- Методы бустинга в основном связаны с уменьшением систематической ошибки.
- Хочет более точно предсказать каждую точку данных.
- Процесс итеративного уточнения оценочных функций регрессии и классификации с целью улучшения предсказательной способности
- Он делает это путем повторного взвешивания данных примера
Процесс повторного взвешивания
- Придавайте больше значения неправильно классифицированным примерам
- Заставляет этих слабых учеников тратить большую часть своего «внимания» на самые сложные примеры.
- Это, однако, игнорирует слабых учеников с лучшими прогнозами на раннем этапе.
Проблемы с прокачкой
- Сложнее настроить модель из-за всех параметров
- Потеря интерпретируемости
- Как все разные слабые ученики взаимодействуют друг с другом
- Вычислительно дорого
- Тенденция как метод черного ящика
