Смещение и отклонение
Введение
Концепция смещения, отклонения и способов их минимизации может оказаться большим подспорьем, когда ваша модель не работает хорошо на обучающем наборе или наборе проверки.
Итак, приступим ...
Что такое смещение?
Смещение - это то, насколько прогнозируемые значения отличаются от фактических значений. Сдвиг, говоря простым языком, известен как разница между средним предсказанием нашей модели и фактическим (правильным) значением. Если средние прогнозируемые значения далеки от фактических значений, то смещение считается высоким.
Случай высокого смещения может быть примером того, что модель не соответствует набору данных (плохо работает на обучающем наборе).
Как с этим бороться?
- Использование более крупной сети (добавление большего количества слоев, увеличение количества скрытых единиц)
- Использование другой архитектуры нейронной сети.
Использование более крупной сети
Увеличение количества слоев или количества нейронов в слое приводит к увеличению обучающих единиц, которые извлекают информацию из предыдущей активации, чтобы пересылать ее на следующий уровень. Тем самым повышая производительность модели и уменьшая предвзятость.
Пробуем другую архитектуру
Часто было замечено, что разные модели по-разному работают с одним и тем же набором данных. Поэтому выбор модели, которая, как ожидается, будет хорошо работать с вашим набором данных, является достойным вариантом для работы.
Что такое дисперсия?
Обычно мы строим модель таким образом, чтобы она могла делать точные прогнозы на обучающей выборке. Если у обучающих и тестовых наборов достаточно общего, мы ожидаем, что модель будет точной и на тестовом наборе. Высокая дисперсия - это сценарий, в котором модель дает очень высокую точность или очень низкую частоту ошибок на обучающем наборе, но полностью терпит неудачу на тестовом или проверочном наборе. Это тип ошибки, который возникает из-за чувствительности модели к небольшим колебаниям обучающей выборки.
Как с этим бороться?
- Регуляризация
- Выбывать
- Увеличение размера набора данных
- Использование таких алгоритмов, как ранняя остановка
Регуляризация
Регуляризация означает явное ограничение модели во избежание переобучения. Более сильная регуляризация подталкивает коэффициенты все больше и больше к нулю, хотя коэффициенты никогда не становятся равными нулю точно. Регуляризации бывают двух типов: L1-регуляризация и L2-регуляризация.
Выбывать
Отсев - это подход к регуляризации в нейронных сетях, который помогает уменьшить взаимозависимое обучение между нейронами. Параметром для функции выпадения является частота выпадения, которая может быть определена как вероятность обучения данного узла в слое, где 1,0 означает отсутствие выпадения, а 0,0 означает отсутствие выходных данных из уровня.
Увеличение размера набора данных
Увеличение размера набора данных приведет к более обобщению процесса обучения модели, поскольку теперь у модели есть больше возможностей, на которых можно учиться. Мы можем использовать увеличение данных, чтобы создать больше данных из существующего. Но недостаток в том, что добавление дополнительных данных приведет к увеличению смещения.
Также увеличиваются общие вычислительные затраты на обучение модели.
Использование таких алгоритмов, как ранняя остановка
Ранняя остановка имеет тенденцию останавливать модель, когда ошибка валидации достигает минимального значения и собирается увеличиваться. У ранней остановки есть два преимущества:
- Помогает оптимизировать функцию затрат
- Не приводит к переобучению регуляризации
P.S .: Все изображения взяты из Google Картинок.
Заключение
Поздравляю, ребята, теперь у вас достаточно теоретических знаний о смещении, дисперсии и способах борьбы с ними. Обязательно примените это в любом проекте машинного обучения, над которым вы работаете.
«Учеба так же необходима в учебе, как дыхание - во время бега».
~ Симона Вейль
