Q1. Что такое регуляризация L1 (L1 = лассо)?

Ответ: Основная цель создания модели (данные для обучения) — убедиться, что она правильно соответствует данным и уменьшить потери. Иногда обученная модель, которая будет соответствовать данным, может дать сбой и дать низкую производительность при анализе данных (тестовые данные). Это приводит к переоснащению.

Регуляризация пришла, чтобы преодолеть переоснащение. Лассо-регрессия(оператор наименьшего абсолютного сокращения и выбора) добавляет «абсолютное значение величины» коэффициента в качестве штрафного члена к функции потерь.

Лассо уменьшает коэффициент менее важного признака до нуля; таким образом, полностью удаляя некоторые функции. Таким образом, это хорошо работает для выбора функций, если у нас их огромное количество.

Такие методы, как перекрестная проверка и пошаговая регрессия, предназначены для обработки переобучения и выбора функций, которые хорошо работают с небольшим набором функций. Эти методы хороши, когда мы имеем дело с большим набором функций.

Наряду с коэффициентами сжатия лассо также выполняет выбор признаков. (Помните «выборку» в полной форме лассо?) Потому что некоторые коэффициенты становятся точно нулевыми, что эквивалентно исключению конкретного признака из модели.

Q2. Регуляризация L2 (L2 = гребневая регрессия)

Отвечать :

Переобучение происходит, когда модель изучает сигнал, а также шум в обучающих данных и не будет хорошо работать с новыми / невидимыми данными, на которых модель не обучалась.

Чтобы избежать переобучения вашей модели на обучающих данных, таких как выборка перекрестной проверки, уменьшение количества функций, обрезка, регуляризация и т. д.

Поэтому, чтобы избежать переобучения, мы выполняем регуляризацию.

Модель регрессии, в которой используется регуляризация L2, называется регрессией гребня. Формула хребтовой регрессии:

Регуляризация добавляет штраф по мере увеличения сложности модели. Параметр регуляризации (лямбда) ограничивает все параметры, кроме перехвата, чтобы модель обобщала данные и не подгоняла их. Регрессия хребта добавляет «квадрат величины коэффициента» в качестве штрафного члена к функции потерь. Здесь часть прямоугольника на изображении выше представляет элемент/термин регуляризации L2.

Лямбда — это гиперпараметр.

Если лямбда равна нулю, то это эквивалентно OLS. Но если лямбда очень велика, то это добавит слишком много веса и приведет к недостаточной подгонке. Риджевая регуляризация заставляет веса быть малыми, но не делает их равными нулю и не дает разреженного решения. Гребневая регрессия не устойчива к выбросам, поскольку квадратные члены увеличивают разницу в ошибках выбросов, а член регуляризации пытается исправить это, налагая штрафы на веса. равный размер. Регуляризация L2 может изучать сложные шаблоны данных.

Q3. Что такое R-квадрат (где использовать, а где нет)?

Ответ 3. R-квадрат — это статистическая мера того, насколько данные близки к подобранной линии регрессии. Он также известен как коэффициент детерминации или коэффициент множественной детерминации для множественной регрессии.

Определение R-квадрата - это процент изменения переменной отклика, который объясняется линейной моделью.

R-квадрат = объясненная вариация / общая вариация

R-квадрат всегда находится в диапазоне от 0 до 100%.

0% указывает на то, что модель не объясняет никакой изменчивости данных отклика вокруг своего среднего значения.

100% указывает, что модель объясняет всю изменчивость данных отклика вокруг своего среднего значения.

В целом, чем выше R-квадрат, тем лучше модель соответствует вашим данным.

Возникла проблема с R-Square. Проблема возникает, когда мы задаем себе этот вопрос**. Хорошо ли помогать как можно большему количеству независимых переменных?

Ответ «Нет», потому что мы поняли, что каждая независимая переменная должна иметь значимое влияние. Но даже** если мы добавим независимые переменные, которые не имеют значения**, улучшит ли это значение R-Square?

Да, это основная проблема с R-Square. Сколько нежелательных независимых переменных, важных независимых переменных или влиятельных независимых переменных вы добавляете в свою модель, значение R-Squared всегда будет увеличиваться. Он никогда не уменьшится при добавлении новой независимой переменной, независимо от того, может ли это быть важная, неважная или плохая переменная, поэтому нам нужен другой способ измерения эквивалентного RSquare, который наказывает нашу модель с любой ненужной независимой переменной.

Итак, мы вычисляем скорректированный R-квадрат с лучшей корректировкой в ​​формуле общего R-квадрата.

Автор — субханшу трипати