Это обычный термин во многих концепциях машинного обучения.
В некотором смысле почти все новые модели машинного обучения просто пытаются найти новые способы выполнения регуляризации, особенно быстрее или с меньшими вычислительными ресурсами.
- Почему? Если просто слепо тренировать контролируемую модель глубокого обучения на множестве данных в течение длительного времени, есть большая вероятность, что модель просто запомнит сложные шаблоны обучающих данных и, следовательно, не хорошо обобщать на новые, «невидимые» тестовые данные (т. е. модель будет переобучаться)
- Что? Регуляризация - это методы, которые пытаются препятствовать изучению определенных шаблонов обучающих данных, чтобы предотвратить переобучение
- Каким образом? Существует много распространенных методов регуляризации, таких как выполнение случайного исключения слоев во время обучения (выпадение), штрафование больших значений веса при вычислении потерь ( уменьшение веса) или изменение масштаба входных данных так, чтобы мини-партии имели определенное желаемое распределение (нормализация партии)
