Регуляризация L2 — это метод, используемый для уменьшения переобучения в моделях машинного обучения. Это достигается путем добавления штрафного члена к целевой функции, которую модель пытается оптимизировать. Штрафной член представляет собой сумму квадратов весов модели. Чем больше веса, тем больше штрафной срок, что побуждает модель изучать меньшие веса. Это помогает предотвратить изучение моделью шаблонов, специфичных для обучающих данных и не поддающихся обобщению на невидимые данные...

Регрессия LASSO — это метод контролируемой и регуляризации, используемый для уменьшения дисперсии и выбора признаков. LASSO расшифровывается как Оператор наименьшего абсолютного сокращения и выбора . Это помогает упорядочить модель, выбирая релевантные функции и уменьшая нерелевантные функции — отсюда и название предполагает «Уменьшение и выбор». Прежде чем углубиться в концепцию, сначала нам нужно понять определение регуляризации. Регуляризация - это метод предотвращения..

Что такое регуляризация L1? Согласно определению Вики, регуляризация — это процесс добавления информации для решения некорректно поставленной задачи или предотвращения переобучения . Проще говоря, регуляризация — это просто штрафной термин, который мы добавляем вместе с термином оптимизации. Рассмотрим простой пример линейной регрессии, где x  – независимый входной вектор размерности d , а y  – соответствующий прогноз. Пусть линейная связь между x и y выражена как y = w@x..