Публикации по теме 'overfitting'
Объяснение Overfitting и Underfitting с использованием класса учащихся 5-го класса.
Переобучение и недообучивание. [Пример ELI5]
С нулевой математикой! Да!
Сценарий:
В классе 5-А в школе KNN учится 3 ученика, и завтра предстоит контрольная по математике.
Тест проводится по таблицам умножения, и все они снабжены таблицей умножения до 10-й таблицы.
Ученик 1 решил запомнить все в совершенстве, не понимая, как работает умножение.
Учащийся 2 изучил только первую строку таблиц, и у него не было достаточно времени, чтобы полностью понять таблицы...
ML 101: Смещение и переобучение
Эта серия статей связывает концепции машинного обучения с идеями и опытом, с которыми мы все знакомы в реальной жизни. Они должны быть понятны всем, у кого есть среднее образование.
Мы с вами постоянно пытаемся предсказать будущее. Понимание того, как ваши действия влияют на то, что произойдет, поможет вам принимать более правильные решения. Поскольку на самом деле вы не можете видеть будущее, вы используете наш прошлый опыт, чтобы найти связь между двумя или более событиями, а затем..
Исследование недостаточного и переоборудования
Если в машинном обучении модель подходит для данных обучения, это не означает, что она будет хорошо работать на данных тестирования. Это несоответствие между производительностью обучающих и тестовых данных называется разрывом обобщения. В задачах машинного обучения часто наблюдается разрыв между производительностью обучения и тестирования.
Обычно увеличение сложности модели помогает уменьшить ошибку обучения, но также может увеличить риск переобучения, что приведет к большему пробелу..
Как определить, не соответствует ли ваша модель, используя немаркированные данные
Новый метод ограничения тестовых потерь
Во многих ситуациях немаркированных данных много (например, изображений, текста и т. Д.), В то время как получить достаточное количество помеченных данных для контролируемого обучения может быть труднее. В таких ситуациях бывает сложно определить, насколько хорошо модель будет обобщать. Большинство методов оценки производительности модели полагаются только на помеченные данные, например k-кратная проверка. Без достаточного количества маркированных..
Проклятие размерности
В этом посте я надеюсь безболезненно объяснить, что такое проклятие размерности в машинном обучении и как оно соотносится с переоснащением. Мы сделаем это, рассмотрев (в каком-то смысле) простейший возможный пример; линейного разделения в 1 и 2 измерениях.
Предположим, мы пытаемся выполнить бинарную классификацию одномерного набора данных, который выглядит следующим образом.
В приведенном выше наборе данных 49 синих точек данных являются отрицательными, а есть 1 выброс, который..
Подгонка и переобучение в ML
Если бы мне пришлось суммировать подгонку и подгонку в 2 строки, это было бы
Переобучение : хорошая производительность на обучающих данных, плохое обобщение на другие данные.
Недостаточная подгонка : низкая производительность на обучающих данных и плохое обобщение на другие данные.
Легко-просто правильно..!!
Теперь давайте просто изучим это с помощью модели дерева решений.
как правило, дерево нередко имеет 10 расщеплений между верхним уровнем (все дома) и листом. По мере..
Переоснащение человеческих решений
Переобучение — это своего рода концепция, о которой большинство из нас слышали при реализации нескольких алгоритмов машинного обучения. В широком смысле это происходит, когда статистическая модель точно соответствует обучающим данным, но не может хорошо обобщать и, следовательно, плохо работает на тестовых данных.
Достаточно просто?
Что ж, большинство из нас не знает, что эта концепция бессознательно использовалась почти всеми видами в их повседневной жизни на протяжении веков. Не..
