Регуляризация L2 — это метод, используемый для уменьшения переобучения в моделях машинного обучения. Это достигается путем добавления штрафного члена к целевой функции, которую модель пытается оптимизировать. Штрафной член представляет собой сумму квадратов весов модели. Чем больше веса, тем больше штрафной срок, что побуждает модель изучать меньшие веса. Это помогает предотвратить изучение моделью шаблонов, специфичных для обучающих данных и не поддающихся обобщению на невидимые данные...

При обучении наших моделей машинного обучения мы часто наблюдаем, что с моделью со значительной способностью к обучению ошибка обучения неуклонно уменьшается, но через несколько эпох ошибка проверки начинает увеличиваться. После каждой эпохи модель изучает данные и соответственно обновляет веса. Ошибка обучения и проверки уменьшается, пока наша модель обобщает входные данные. После нескольких итераций модель начинает запоминать данные, и даже если ошибка обучения уменьшается, ошибка..