Переоснащение и недообучение. Я чувствую, что эти две концепции очень тесно связаны с тем, как модель может интерпретировать данные и какова правильность данной функции. Это связано с другой концепцией, которая называется Перекрестная проверка.
Проще говоря, при построении модели переоснащение и недооснащение — это то, о чем вам нужно беспокоиться как о недостатках, поскольку они влияют на общую производительность модели.
Что вы подразумеваете под переобученной моделью?
По сути, модель, которая была обучена только с использованием данных о поездах и продолжает классифицировать эти данные, называется ВЫСОКОТОЧНОЙ. с точки зрения обучающих данных, но очень плохой с точки зрения прогнозирования новых или неизвестных значений, поскольку он был чрезмерно обучен на обучающих данных. Давайте возьмем пример линейной регрессии, где нам нужно построить все точки и попытаться создать линейную регрессию среди разных точек. Таким образом, для нормального графика линейной регрессии будет нанесено большинство точек, а график линейной регрессии будет выглядеть как прямая линия, проходящая между точками, которые были нанесены на график (точки данных). Взгляните на диаграмму, приведенную ниже:
Теперь давайте рассмотрим, что все эти точки соединены или связаны друг с другом, что произошло на этапе обучения модели. Взгляните на приведенный ниже график, чтобы понять концепцию.
Переобучение означает, что мы подготовили модель, подходящую только для обучающих данных. Это означает, что если мы попросим модель предсказать значение на основе обучающих данных, она даст очень хорошую точность, тогда как, с другой стороны, она даст очень низкую точность, если мы спросим о данных из обучающего набора. С другой стороны, недообучение является полной противоположностью этому, когда точки едва связаны с какой-либо из заданных точек данных.
Как видите, линия практически не связана ни с одной из точек, что означает, что точки не были подогнаны к модели, или даже если они были подогнаны, точность модели очень плохая.
Переоснащение — это случай, когда общая стоимость действительно мала, но обобщение модели ненадежно. Это связано с тем, что модель «слишком многому учится» на обучающем наборе данных.
Недообучение — это случай, когда модель «недостаточно усвоила» обучающие данные, что приводит к низкому обобщению и ненадежным прогнозам.
Посмотрите видео, приведенное ниже, чтобы лучше понять концепцию.
Спасибо за чтение. Продолжай учиться.
Ваше здоровье.
