Зачем нужны методы регуляризации? Ответ: Если модель линейной регрессии приводит к переобучению, мы применяем методы регуляризации, чтобы избежать проблемы переобучения.
Прежде чем перейти к методам регуляризации, мы можем понять, что такое переоснащение и недостаточное оснащение.
Смещение и дисперсия - компромисс:
Смещение - ошибка между средними прогнозами модели и истинностью.
Дисперсия - средняя изменчивость прогноза модели для данного набора данных.
Переоснащение
- Переобучение означает, что модель дает хороший результат для обучающей выборки, но плохой результат для тестовой выборки.
- Переобучение происходит, когда мы вводим в модель больше предикторов, линия наилучшего соответствия будет пытаться пройти через каждую точку в данных Train. У него низкий уровень смещения и высокая дисперсия.
.
.
.
.
.
Идеально:
- Идеальная модель - это та, у которой линия наилучшего соответствия означает оптимизированный наклон (m) и значение пересечения (x).
- Он имеет низкую систематическую ошибку и низкую дисперсию.
.
.
.
.
.
.
Недостаточное оснащение
- Недообучение означает, что модель дает плохой результат для набора обучающих и тестовых данных.
- Поскольку у нас низкий показатель показателей в наборе данных поезда, мы не будем использовать эту модель для прогнозирования набора тестовых данных. У него высокая систематическая ошибка и большая дисперсия.
.
.
.
.
Регуляризация:
- Если наклон более крутой, небольшое изменение x приведет к большим изменениям y.
- Это может привести к переобучению.
- Чем выше наклон, тем выше коэффициент, и это приведет к переобучению.
.
.
.
.
- Чтобы штрафовать более высокий наклон, мы добавляем в модель смещение, то есть метод регуляризации.
- Если наклон небольшой, изменение единицы измерения x приведет к уменьшению единицы y.
.
.
.
- Регуляризация - это процесс, при котором добавление смещения к обучающим данным дает лучший результат для тестовых данных.
Регуляризация хребта (L2):
- Добавьте штрафной коэффициент к функции затрат, который представляет собой квадрат значения.
- Как мы все знаем, Градиентный спуск является сердцем модели регрессии для нахождения оптимизированного значения наклона и точки пересечения, добавляя штрафной коэффициент к функции стоимости, она будет пытаться сформировать более обобщенную модель.
- По мере увеличения значения лямбда коэффициент будет пытаться сжаться до нуля, что означает уменьшение значения коэффициента, но не до нуля.
Регуляризация лассо (L1):
- Рабочий метод регуляризации лассо также имеет отношение к регуляризации хребта, но вместо возведения в квадрат угла наклона мы бы взяли абсолютное значение наклона.
- Поскольку мы берем абсолютное значение наклона, существует вероятность обнуления значения наклона.
- Нулевой коэффициент означает, что между переменной и целью нет связи, поэтому он обнуляется.
- Регуляризация лассо помогает в выборе функций.
Эластичная регуляризация сети:
- Комбинация регуляризации гребня и лассо, которая приводит к исключению элементов из лассо и обеспечивает снижение коэффициента из гребня.
- Таким образом, основная цель метода регуляризации - сделать так, чтобы ошибка поезда и теста попадала в один и тот же диапазон за счет уменьшения наклона (коэффициента) для получения минимальной ошибки.
Ссылка:
- Обратитесь к этому файлу, чтобы понять, как я решил проблему переобучения в модели линейной регрессии, применив метод регуляризации.
