Введение

Регрессионные модели играют решающую роль в анализе и прогнозировании числовых результатов в различных областях, от финансов до здравоохранения и маркетинга.

Хотя точность дает моментальный снимок правильных прогнозов (лучше всего для моделей классификации), она не может уловить нюансы, которые могут создать или разрушить регрессионную модель. Например, точная модель может демонстрировать смещенную тенденцию, что приводит к проблематичным прогнозам для определенных подмножеств данных.

Более того, точность сама по себе не учитывает величину ошибок или надежность прогнозов. Чтобы по-настоящему понять производительность модели и оценить ее практичность, мы должны углубиться в область показателей производительности, специально разработанных для регрессионных моделей.

MSE (среднеквадратичная ошибка)

Одной из основных метрик производительности регрессионных моделей является среднеквадратическая ошибка (MSE). Он измеряет среднеквадратичную разницу между прогнозируемыми и фактическими значениями.

Возводя различия в квадрат, MSE более строго наказывает большие ошибки, предоставляя всестороннюю оценку общей производительности модели.

Ниже MSE означает более высокую производительность модели, указывая на то, что прогнозы модели ближе к истинным значениям.

RMSE (среднеквадратичная ошибка)

Хотя MSE дает ценную информацию о производительности модели, она измеряется в квадратных единицах, что делает ее сложной для интуитивной интерпретации.

RMSE, с другой стороны, представляет собой квадратный корень из MSE, что приводит к той же единице измерения, что и зависимая переменная. Это упрощает интерпретацию и понимание средней ошибки прогноза в исходном масштабе данных. Например, если зависимая переменная измеряется в долларах, RMSE также будет в долларах, что делает ее более интуитивно понятной.

Как и в случае с MSE, более низкий RMSE указывает на более точную модель.

MAE (средняя абсолютная ошибка)

MAE количественно определяет среднюю абсолютную разницу между прогнозируемыми и фактическими значениями. Он позволяет измерить типичную величину ошибок прогнозирования, не принимая во внимание направление (т. е. завышение или занижение) ошибок.

Интерпретация значения MAE зависит от масштаба и контекста зависимой переменной. Поскольку MAE измеряется в тех же единицах, что и зависимая переменная, ее легко интерпретировать в исходной шкале данных. Меньший MAE указывает на более высокую точность прогноза, так как предполагает, что прогнозы в среднем меньше отклоняются от фактических значений.

MAE особенно полезен, когда вы хотите понять типичную абсолютную ошибку или отклонение в прогнозах. Он менее чувствителен к выбросам по сравнению со среднеквадратичной ошибкой (MSE) и среднеквадратичной ошибкой (RMSE), что делает его надежным выбором. при наличии экстремальных значений.

R-квадрат (R²) и скорректированный R-квадрат (R²(adj))

Это широко используемые показатели производительности в регрессионном анализе, которые дают понимание степени соответствия регрессионной модели, т. е. насколько лучше конкретная линия по сравнению со средней линией. Они помогают оценить, насколько хорошо независимые переменные объясняют изменение зависимой переменной.

Давайте рассмотрим простой пример, чтобы понять концепцию R-квадрата и скорректированного R-квадрата.

Предположим, вы специалист по данным, работающий в компании по недвижимости. Ваша задача — разработать регрессионную модель для прогнозирования цен на жилье на основе различных характеристик, таких как количество спален, площадь и местоположение.

Вы собираете набор данных из 100 домов, где у вас есть информация о независимых переменных (количество спален, площадь в квадратных метрах, местоположение) и соответствующих зависимых переменных (цена дома).

После построения регрессионной модели вы получаете значение R-квадрата 0,80. Это означает, что 80% колебаний цен на жилье можно объяснить независимыми переменными в модели. Другими словами, функции, которые вы включили в модель, могут объяснить 80% наблюдаемых колебаний цен на жилье.

Чем лучше линейная регрессия (справа) соответствует данным по сравнению с простым средним (на графике слева), тем ближе значение R-квадрата к 1. Площади синих квадратов представляют собой квадраты остатков по отношению к линейной регрессии. Площади красных квадратов представляют собой квадраты остатков по отношению к среднему значению.

Однако важно учитывать количество независимых переменных, используемых в модели. Проблема со значением R-квадрата заключается в том, что даже если вы добавляете нерелевантные независимые функции, которые не имеют ничего общего с зависимыми, значение R-квадрата все равно увеличивается. . В нашем примере предположим, что мы включили вес признака, который не имеет ничего общего с прогнозированием стоимости дома, значение R-квадрата будет увеличиваться по мере добавления другого признака. Это называется завышением.

Чтобы учитывать возможную переоценку объяснительной способности модели из-за включения ненужных переменных, мы вычисляем скорректированный R-квадрат. Предположим, что размер выборки 100 домов и пять независимых переменных.

После расчета мы обнаружили, что скорректированный R-квадрат равен 0,75. Это скорректированное значение учитывает количество независимых переменных и размер выборки. Более высокий скорректированный R-квадрат указывает на лучшее соответствие, учитывая сложность модели. В данном случае предполагается, что пять переменных в совокупности объясняют 75 % колебаний цен на жилье с учетом количества предикторов и размера выборки.

Разница между R-квадратом и скорректированным R-квадратом заключается в штрафе за включение ненужных переменных. R-квадрат может увеличиваться по мере добавления дополнительных переменных, даже если они мало влияют на зависимую переменную.Скорректированный R-квадрат на с другой стороны, приспосабливается к этому, штрафуя добавление таких переменных, обеспечивая более точное измерение качества модели.

Заключение

Когда дело доходит до регрессионного моделирования, становится очевидным, что оценка производительности модели требует обширного подхода.

Каждая метрика раскрывает уникальный аспект производительности модели, позволяя нам оценивать ошибки прогнозирования, соответствие модели и ее сложность. Эти метрики уравновешивают только ограничения точности и дают более глубокое понимание возможностей наших моделей, а также подгоняют модели регрессии как перчатку. Я настоятельно рекомендую вам поэкспериментировать и поиграть с этими метриками, чтобы глубже понять лежащие в их основе концепции.