Привет, ребята, сегодня мы поговорим об очень важной концепции машинного обучения, которая используется во всей области машинного обучения.
Что такое предвзятость?
Смещение — это мера ошибки, которая рассчитывается между средним прогнозом и правильным значением. Она также известна как Ошибка смещения. Это мера того, насколько прогнозы далеки от исходного значения. Большое смещение в модели может привести к тому, что алгоритм упустит соответствующие отношения между функциями и зависимой переменной (целевой переменной). Высокое смещение означает, что наша модель неэффективна в прогнозировании нашей целевой переменной.
Модель с высоким смещением страдает от недообучения.
Что такое дисперсия?
Дисперсия — это дисперсия нашего набора данных, или мы можем сказать, что она измеряет, насколько разбросан наш набор данных. Дисперсия — это величина, на которую изменится оценка целевой функции, когда она увидит новые данные (которые не видны модели).
Модель с высокой дисперсией страдает от переобучения.
Компромисс между предвзятостью и дисперсией:
Прежде чем перейти к компромиссу смещения и дисперсии, какова цель каждого алгоритма машинного обучения? Мы хотим предсказать что-то о невидимых данных (новых данных) из прошлых моделей данных или прошлых идей. Поэтому перед развертыванием модели мы оцениваем нашу модель, как она будет работать с новыми невидимыми данными, которые называются тестовыми данными.
Ошибка=неустранимая ошибка+смещение²+дисперсия
Ошибка имеет три термина. Мы уже говорили о смещении и дисперсии, давайте поговорим о неустранимой ошибке. Неустранимая ошибка – это случайная ошибка, которая может означать, что все наши функции не полностью определяют нашу целевую переменную. Некоторые ошибки, влияющие на наши прогнозы относительно целевой переменной, носят случайный характер, но их немного. У нас нет никакого контроля над неустранимой ошибкой.
Единственный способ свести к минимуму ошибку — уменьшить сокращаемую ошибку. Опять же, он состоит из двух компонентов.
Давайте поговорим об их поведении, означает, как они увеличиваются или уменьшаются для сложности модели.
Из приведенного выше рисунка видно, что смещение уменьшается с увеличением сложности модели, что очевидно, поскольку в области недообучения прогнозируемое значение и фактическое значение будут сильно различаться.
Дисперсия увеличивается с увеличением сложности модели из-за переобучения. Он попытается уловить все точки данных, включая шум, который при проверке на тестовых данных не может быть предсказан из-за присутствия шума и случайного паттерна в модели.
Ошибка теста состоит из смещения², дисперсии и неустранимой ошибки. Чтобы свести к минимуму ошибку, мы должны найти компромисс между смещением и дисперсией. Для этого мы должны найти правильный баланс.
Ошибка поезда:
По мере того, как мы будем увеличивать сложность модели, наша ошибка обучения будет уменьшаться, поскольку мы с увеличением сложности переобучаем нашу модель. Означает, что наша модель запоминает набор обучающих данных. Проще говоря, наша модель будет соответствовать нашим обучающим данным, в результате наша ошибка обучения будет продолжать уменьшаться.
Вывод-
Чтобы свести к минимуму ошибку в нашем прогнозе невидимых данных, мы должны выбрать оптимальный уровень сложности нашей модели, чтобы правильно сбалансировать эти два члена в ошибке теста, а именно смещение² и дисперсию, что называется компромиссом смещения и дисперсии.
