Регуляризация.
При оптимизации нашей функции стоимости как в линейной, так и в логистической регрессии мы используем метод регуляризации, чтобы наказывать функции. Потому что, если функция встречается только в классе, существует высокая вероятность того, что алгоритм обучения логистической регрессии присвоит этой функции более высокий коэффициент.
Это происходит, если алгоритм работает лучше на данных поезда, так как он лучше подходит и плохо работает с невидимыми данными, т. Е. Меньшая ошибка обучения и высокая ошибка обобщения.
С помощью регуляризации мы уменьшаем коэффициенты, наказывая их с помощью норм L1/L2, это уменьшает дисперсию при обучении, тем самым уменьшая вероятность перенастройки модели. Пример задачи регрессии
w1*, w0* = argmin Σ (y-y’)² + λ||w1+w0||,
Здесь λ определяет влияние штрафа за регуляризацию на квадратичный срок потерь. Регуляризация помогает сбалансировать значение возрастающих коэффициентов, уменьшая общую дисперсию модели.
Чем меньше дисперсия, тем меньше ошибка обобщения, и модель лучше работает с невидимыми данными.
Регуляризация также может использоваться в качестве метода выбора признаков.
Поскольку L1 Norm использует сумму абсолютных коэффициентов, признаки с нулевым коэффициентом удаляются, что приводит к выбору лучших признаков.
#machinelearning #ai #регуляризация #датапоэзия
