Публикации по теме 'regularization'


ML-регуляризация
Регулярная линейная и логистическая регуляризация — Эндрю Нг Итак, мы можем применить регуляризацию к нашей линейной регрессии и логистической регрессии. Напомним, функция стоимости с регуляризацией выглядела так: Линейная регрессия с регуляризацией Мы не регуляризируем тета0, это было соглашением для расчетов. Если мы немного упорядочим наш расчет, мы увидим, что тета-параметры имеют тенденцию к уменьшению (мы продолжаем умножать значения меньше 1), а остальное просто..
Введение в регуляризацию
DS с Редди😎 Регуляризация помогает решить проблему подгонки в машинном обучении. Простая модель будет очень плохим обобщением данных. В то же время сложная модель может плохо работать на тестовых данных из-за переобучения. Нам нужно выбрать правильную модель между простой и сложной моделью. Регуляризация помогает выбрать предпочтительную сложность модели, чтобы модель лучше предсказывала. Регуляризация — это не что иное, как добавление штрафного члена к целевой функции и управление..
Истинная причина, по которой нам нужна регуляризация
Сделайте свой путь к лучшему завтра Математика: хорошо поставленные задачи Наука о данных зависит от математики, а математика обычно ориентирована на ситуации, когда: Решение существует Решение уникальное Поведение решения постоянно меняется в зависимости от начальных условий. Они известны как хорошо поставленные задачи , и представляют собой разновидности допущений, которые настолько важны в традиционных методах, что о них легко забыть. Но они имеют значение, так..
Методы регуляризации ML
В предыдущем посте мы говорили о Техниках оптимизации . Мантра была скорость, в смысле убери меня - функция потери - но делай это быстро . В этом посте мы поговорим о методах регуляризации , а именно о регуляризации L1 и L2, отключении, расширении данных и ранней остановке. Здесь наш враг переоснащается, и наше лекарство от него называется регуляризацией. Что это за злобный недуг - призыв к переобучению? Что ж, переобучение - это результат слишком хорошего обучения. Это..
Выбор линейной модели и регуляризация - Серия ISLR, глава 6
В главе 3 мы говорили о линейной регрессии: как мы можем предположить, что данные соответствуют линейной модели, и прогнозировать, используя эту линейную модель. Линейная модель не работает, когда есть много функций. Хорошей практикой является сбор как можно большего количества точек данных, но недостатком может быть то, что некоторые данные не будут иметь отношения к цели, и это замедлит обучение и может даже ухудшить точность модели. так что нам делать? В этой главе рассказывается о..
Методы регуляризации: вкратце
При обучении нейронных сетей важна не столько производительность на обучающем наборе, сколько то, что сеть способна применять знания, полученные во время обучения, к новым данным. Этот навык известен как обобщение, и существуют методы улучшения этой способности. В целом эти техники называются регуляризацией и именно о них мы и поговорим в этом посте. Что такое регуляризация? Какова его цель? Регуляризация — это метод ограничения эффектов переобучения. Переобучение — это..
Почему неконтролируемое предварительное обучение помогает глубокому обучению?
В этой (G) старой статье [1] рассматривается интересный вопрос: почему предварительное обучение без присмотра помогает глубокому обучению? Авторы подкрепляют свой вывод массой экспериментов. Тем не менее, полученные данные противоречат распространенному мнению о неконтролируемом обучении. Вот почему у меня противоречивое мнение об этой статье. Я сначала представлю статью; затем следите за моими комментариями. Авторы стремятся понять, как неконтролируемая предварительно обученная..