В этом сообщении блога мы обсудим важность использования таких показателей производительности, как средняя абсолютная ошибка (MAE), для оценки моделей машинного обучения.

Определение. Средняя абсолютная ошибка (MAE) — это мера ошибок между парными наблюдениями, отражающими одно и то же явление. Это среднее значение абсолютных ошибок. Единицы MAE совпадают с прогнозируемой целью, что полезно для понимания того, вызывает ли беспокойство размер ошибки или нет. MAE — это агрегированное среднее этих ошибок, которое помогает нам понять производительность модели по всему набору данных. Средняя абсолютная ошибка — это один из способов сравнения прогнозов с их конечными результатами.

Как интерпретировать среднюю абсолютную ошибку (MAE) вашей модели: чем меньше MAE, тем выше производительность модели. Чем ближе MAE к 0, тем точнее модель. Но MAE возвращается в том же масштабе, что и цель, для которой вы прогнозируете, и поэтому не существует общего правила для интерпретации диапазонов значений. Интерпретация вашего значения может быть оценена только в вашем наборе данных.

Однако MAE можно развить дальше, рассчитав MAPE (средняя абсолютная ошибка в процентах), которая представляет собой MAE, возвращаемую в процентах. Это может упростить интерпретацию производительности модели и сравнение значений в наборах данных.

Определение. Средняя абсолютная ошибка в процентах (MAPE) — это среднее значение всех абсолютных ошибок в процентах между прогнозируемыми и фактическими значениями. Это метрика, определяющая точность метода прогнозирования. Он представляет собой среднее значение абсолютных процентных ошибок каждой записи в наборе данных, чтобы рассчитать, насколько точны прогнозируемые количества по сравнению с фактическими количествами. MAPE часто эффективен для анализа больших наборов данных и требует использования значений набора данных, отличных от нуля.

Как интерпретировать среднюю абсолютную процентную ошибку (MAE) вашей модели. MAPE — это средняя процентная разница между прогнозами и их предполагаемыми целевыми значениями в наборе данных. Чтобы объяснить далее, если ваш MAPE равен 10%, то ваши прогнозы в среднем на 10% отличаются от фактических значений, к которым они стремились.

Набор данных, использованный в этом посте. Набор данных представляет собой набор данных о жилье, представленный Де Коком (2011 г.). Данные поступили к нему непосредственно из офиса оценщика города Эймс в виде дампа данных из их системы записей. Исходный файл Excel содержал 113 переменных, описывающих 3970 продаж недвижимости, которые произошли в Эймсе, штат Айова, в период с 2006 по 2010 год. удалены любые переменные, которые требовали специальных знаний или предварительных расчетов для их использования. Большинство этих удаленных переменных были связаны с коэффициентами взвешивания и корректировки, используемыми в текущей системе моделирования города.

Набор данных содержит 2930 записей (строк) и 82 функции (столбца), и здесь мы находим описание столбцов, которые будут использоваться для прогнозирования нашего целевого столбца, который представляет собой цену продажи, то есть сумму, которую квартира или дом продают с учетом различных условия.

Модели для прогнозирования

Тип используемых моделей будет регрессионной моделью, поскольку мы хотим прогнозировать непрерывное числовое значение.

Я выбираю 6 моделей регрессионного машинного обучения, о которых я кратко расскажу ниже.

Регрессия гребня – это расширение линейной регрессии, в котором функция потерь изменяется, чтобы минимизировать сложность модели. Эта модификация выполняется путем добавления параметра штрафа, эквивалентного квадрату величины коэффициентов. Низкое значение альфа может привести к переоснащению, тогда как высокое значение альфа может привести к недостаточному подбору. В scikit-learn модель гребневой регрессии строится с использованием класса Ridge.

Алгоритм K-Nearest Neighbor (KNN) является простым и эффективным в определенных задачах. Простая реализация регрессии KNN заключается в вычислении среднего численного целевого значения K ближайших соседей. Другой подход использует обратное взвешенное среднее расстояние K ближайших соседей. Регрессия KNN использует те же функции расстояния, что и классификация KNN.

Регрессия опорных векторов — это алгоритм обучения с учителем, который используется для прогнозирования дискретных значений. Основная идея SVR состоит в том, чтобы найти наиболее подходящую линию. В SVR наилучшей линией соответствия является гиперплоскость с максимальным количеством точек.

Дерево решений – это непараметрический контролируемый метод обучения, используемый для классификации и регрессии. Цель состоит в том, чтобы создать модель, которая предсказывает значение целевой переменной, изучая простые правила принятия решений, выведенные из характеристик данных. Дерево можно рассматривать как кусочно-постоянную аппроксимацию. Мне нравятся деревья решений, потому что их легко понять и интерпретировать, деревья можно визуализировать и требуется небольшая подготовка данных.

Регрессия случайного леса – это алгоритм обучения с учителем, в котором для регрессии используется метод обучения по ансамблю. Метод ансамблевого обучения — это метод, который объединяет прогнозы нескольких алгоритмов машинного обучения, чтобы сделать прогноз более точным, чем одна модель.

Нейронная сеть MLPМногослойный персептрон (MLP) представляет собой глубокую искусственную нейронную сеть. Он состоит из более чем одного персептрона. Они состоят из входного слоя для приема сигнала, выходного слоя, который принимает решение или прогнозирует входные данные, и между этими двумя уровнями произвольное количество скрытых слоев, которые являются истинным вычислительным механизмом MLP. МЛП с одним скрытым слоем способны аппроксимировать любую непрерывную функцию.

Многослойные персептроны часто применяются для решения задач обучения с учителем. Они тренируются на наборе пар вход-выход и учатся моделировать корреляцию (или зависимости) между этими входами и выходами. Обучение включает в себя настройку параметров или весов и смещений модели, чтобы минимизировать ошибку. Обратное распространение используется для корректировки веса и смещения относительно ошибки, а сама ошибка может быть измерена различными способами, в том числе с помощью среднеквадратичной ошибки (RMSE).

О некоторых моделях глубокого обучения, построенных на MLP, я писал здесь.

Оценка модели

Как я уже говорил ранее, я оценивал свои модели с помощью MAE и MAPE и отображал ошибки для простоты интерпретации. См. ниже.

На изображении выше у SVR была самая низкая ошибка, а у KNN — самая высокая.

Вы можете найти код в моем Github здесь.