Публикации по теме 'regularization'
Стратегии выбора функций для регрессионных моделей
Ro Data Sip-and-Share Q1 2019
Выбор функций или их отсечение - очень важный шаг в конвейере построения хорошей модели прогнозирования и понимания связей между функциями и целью. Выбор функций преследует две цели: 1. выявить и удалить элементы с небольшой или отсутствующей предсказуемостью цели, чтобы предотвратить переоснащение, и 2. выявить сильно коррелированные или избыточные функции и подавить негативное влияние на модель без потери важной информации. . Здесь я рассмотрю..
Что такое сглаживание меток?
Способ сделать вашу модель менее самоуверенной
При использовании моделей глубокого обучения для задач классификации мы обычно сталкиваемся со следующими проблемами: переоснащение и самоуверенность. Переобучение хорошо изучено, и с ним можно справиться с помощью досрочного прекращения занятий, выбывания, регуляризации веса и т. Д. С другой стороны, у нас меньше инструментов, чтобы справиться с самоуверенностью. Сглаживание меток - это метод регуляризации, который решает обе..
Регуляризация и функция стоимости
Регуляризация позволяет нам найти функцию минимальной стоимости, используя штрафной член цели. Как это помогает улучшить нашу модель? скажем, у вас есть модель с 15 функциями, вам действительно нужно обучить все эти функции? означает, что чем сложнее система, тем точнее она будет тестироваться. Например, предположим, что вы классифицируете тип транспортного средства, если большая часть данных для автомобиля, например, окрашена в красный цвет, то при тестировании на зеленом он будет..
Ридж, лассо и регрессия эластичной сети
В этой статье мы откажемся от часто используемого алгоритма линейной регрессии и попытаемся изучить некоторые другие альтернативы регрессии, а именно лассо, гребень и эластичные сети . К концу статьи у вас будет хорошее представление о различиях и работе трех вышеупомянутых алгоритмов, их приложениях в задачах машинного обучения и о том, когда что использовать.
Компромисс между смещением и дисперсией:
При обучении и тестировании наших моделей машинного обучения мы часто сталкиваемся..
Два способа применения регуляризации L1/2 в PyTorch в 2022 году
Способ 1: с помощью оптимизатора PyTorch
Как и широко используемые оптимизаторы, классы Adam и AdamW, предоставляемые инфраструктурой PyTorch, имеют собственный параметр под названием «распад веса», который сам по себе обеспечивает быстрый и простой способ применить регуляризацию L2, просто добавив новый параметр.
Это происходит так: при создании оптимизатора добавьте параметр `weight_decay`.
import torch
optimizer=torch.optim.Adam(model.parameters(),weight_decay=0.01)
При добавлении..
Как формула 1 может помочь вам понять недостаточную и чрезмерную посадку
Когда идентифицировать это и что вы можете с этим поделать
Введение
Иногда мне кажется, что я обманул систему. Бесчисленные экзамены проверяли мою способность определять и объяснять методы регрессионного моделирования, и если бы мне пришлось взглянуть на свои ответы сейчас, я был бы поражен своими знаниями…
Выбор признаков с регрессией лассо
Выбор признаков с регрессией лассо
Самое краткое и простое руководство по выбору признаков с помощью регрессии Лассо в Python.
Лассо-регрессия для выбора признаков?
Пытаясь минимизировать функцию стоимости, регрессия Лассо автоматически выбирает те функции, которые полезны, отбрасывая бесполезные или избыточные функции. В регрессии Лассо отбрасывание признака сделает его коэффициент равным 0. Кроме того, регрессия Лассо делает модель более обобщаемой для невидимых выборок...
