В этой статье мы узнаем о том, что такое переобучение, недообучение и компромисс смещения.
Давайте возьмем пример класса средней школы, в котором есть 3 типа учеников.
Учащийся А – недостаточно подготовленный – учащийся в классе, который не понимает основных понятий, поэтому очевидно, что он не может сдать экзамен.
Учащийся B – переоснащение – учащийся класса, который выучил наизусть все понятия, но не понимает их до конца. На экзамене, если вопросы будут заданы немного иначе, он не сможет выполнить задание.
Студент C – лучший вариант – учащийся класса, который хорошо понимает концепции и может ответить на каверзные вопросы на экзамене.
В идеале, в машинном обучении нам нужна наша модель, которая точно фиксирует шаблон в своих обучающих данных, а также хорошо обобщает невидимые данные.
Теперь давайте разберемся, как переоснащение и недообучение связаны с предвзятостью и дисперсией.
1 – Предвзятость – высокий уклон означает недостаточное соответствие.
Смещение — это то, насколько далеки прогнозируемые значения от фактических значений. Смещение увеличивается, когда средние прогнозируемые значения далеки от фактических значений.
Если модель имеет большое смещение , это означает, что модель слишком проста и, следовательно, не фиксирует закономерности в обучающих данных. Эта ситуация не что иное, как недообучение.
2 – Дисперсия. Высокая дисперсия приводит к переоснащению.
Говорят, что модель имеет большую дисперсию, когда предсказание модели сильно меняется при небольшом изменении входных данных.
Модель с большей дисперсией уделяет большое внимание обучающим данным и плохо обобщает невидимые данные. Это похоже на студента, который запоминает все, не понимая концепций.
Смещение — компромисс дисперсии
Когда мы сталкиваемся с недообучением и переоснащением в нашей модели, нам нужно решить эту проблему, используя компромисс между смещением и дисперсией.
Мы хотим, чтобы наша модель имела низкое смещение и низкую дисперсию, чтобы уменьшить общую ошибку. Модель средней сложности с низкой ошибкой теста, что показано на изображении ниже.
высокое смещение, низкая дисперсия — это указывает на то, что модель слишком проста.
Низкое смещение, высокая дисперсия. Это указывает на то, что модель слишком сложна и не может работать с невидимыми данными.
Как определить, что модель имеет высокую дисперсию или большое смещение?
High Bias - это когда есть высокая ошибка обучения.
Высокая дисперсия — это высокая ошибка теста.
Как решить проблему высокого смещения?
. Дополнительные функции ввода
. Добавьте больше сложности, используя полиномиальные функции
. Уменьшить срок регуляризации.
Как решить проблему с высокой дисперсией?
.Используйте больше обучающих данных.
. Уменьшить входные функции
. Увеличить срок регуляризации.
