Публикации по теме 'overfitting'


Обзор машинного обучения со мной: переобучение или недостаточное обучение
В машинном обучении идеальный алгоритм имеет низкую предвзятость и может точно моделировать истинную взаимосвязь, а также низкую изменчивость, создавая согласованные прогнозы для разных наборов данных. Как правило, если модель имеет хорошие показатели точности или производительности для набора обучающих данных, но не такие хорошие показатели точности или производительности для набора данных для тестирования, мы называем это переоснащением (отсутствием обобщения). И если модель..
Методы борьбы с переоснащением
1. Перекрестная проверка Во время обучения алгоритма часть набора данных используется для проверки производительности модели (это отличается от набора данных для тестирования, который используется после завершения обучения). Этот процесс называется перекрестной проверкой. Очень популярным типом перекрестной проверки является K-кратная перекрестная проверка, при которой в самих обучающих данных выполняется K-кратное тестирование. Здесь можно использовать среднюю точность K итераций..
Переоснащение и недообучение: общие проблемы машинного обучения
Оглавление Введение Что такое переоснащение? Что такое недообучение? Сравнение переобучения и недообучения Методы предотвращения переобучения и недообучения Заключение Введение Мы все узнали о важности машинного обучения на заре науки о данных. Это было, когда мы пытались получить наши первые идеи, используя множество переменных, факторов и корреляций. Полная модель машинного обучения — это не что иное, как математическая абстракция, описывающая взаимосвязь между входными..
Регуляризация в машинном обучении
Важный метод, чтобы избежать переобучения Введение Разработка модели машинного обучения — это не волшебство, когда вы щелкаете пальцами и « БУМ!» , модель появляется автоматически. На самом деле, люди часто думают, что искусственный интеллект (ИИ) так же умен, как человек. Тем не менее, я хотел бы вставить это восприятие, используя логику из речи, которую я прочитал в сообщении, но я не помню, кто разместил его, говоря, среди прочего, что « компьютер является более быстрым тупее..
Могут ли модели глубокой нейронной сети соответствовать? Да, большое время
Действительно, модели Deep Neural Networks (DNN) могут превосходить ожидания. Это особенно верно для макроэкономических данных временных рядов. Используя данные временных рядов, я разработал множество моделей DNN и сравнил их с гораздо более простыми регрессиями МНК для оценки и прогнозирования ВВП, фондового рынка и других подобных зависимых переменных с использованием экзогенных независимых объясняющих макроэкономических переменных. Неизменно модели DNN соответствуют исторической..
Переобучение и сокращение в деревьях решений — Повышение точности модели
Деревья решений — это непараметрическая контролируемая модель машинного обучения, которая использует помеченные входные и целевые данные для обучения моделей. Их можно использовать как для задач классификации, так и для регрессии. Резюмируя мою предыдущую статью о деревьях решений, деревья решений представляют процесс принятия решений посредством ветвящихся древовидных структур . Они принимают решения на основе ответов на предыдущие наборы вопросов (метки/узлы). Модели дерева решений..
Все о перекрестной проверке
Хотите убедиться, что ваша модель машинного обучения подходит и хорошо работает с данными мира чтения? Что ж, вы попали в нужное место !! В этой статье мы постараемся объяснить, ПОЧЕМУ, ЧТО и КАК перекрестная проверка! Давайте запачкаем руки каким-нибудь кодом. Переобучение : модель, которая идеально подходит для обучающей выборки и плохо работает, когда дело доходит до тестовой выборки. Это означает, что модель хорошо изучит обучающие данные, но не будет обобщать невидимые..