В этой статье мы обсудим показатели производительности, которые необходимо использовать при сравнении нескольких моделей машинного обучения. Показатели производительности являются основой любой модели машинного обучения. Они скажут нам, насколько точно мы тренируем и оцениваем нашу модель.
В задачах машинного обучения на основе регрессии обычно используют коэффициент корреляции (R), среднеквадратичную ошибку (RMSE) или MSE и смещение в качестве показателей производительности для оценки производительности обученной модели машинного обучения. Формулы для расчета R, RMSE и MSE приведены ниже;
где SSE – сумма квадратов ошибок, SST – сумма квадратов общего числа, yobs – наблюдаемое, а ysat – прогнозируемые значения. Однако эти показатели хороши для оценки производительности одной модели машинного обучения. Для сравнения нескольких моделей машинного обучения (или с другими эталонными алгоритмами) нам нужны некоторые другие показатели производительности для надежного вывода.
Согласно недавней исследовательской статье (Singh et al., 2021), нам необходимо добавить некоторые дополнительные показатели производительности для сравнения двух или более моделей машинного обучения. Они предположили, что для сравнения нескольких моделей рекомендуется использовать информационный критерий Акаике (AIC), скорректированный AIC (AICc) и байесовский информационный критерий (BIC). ). Все эти показатели ограничивают модель машинного обучения большим количеством параметров.Предпочтительнее использовать модель с более низкими значениями AIC, AICc и BIC. Кратко обсудим эти критерии (подробное описание можно найти в соответствующих ссылках).
- Информационный критерий Акаике (AIC) от (Akaike 1969) [2]
2. Исправленный AIC (AICc) (Hurvich and Tsai, 1989) [3]
3. Байесовский информационный критерий (BIC) (Schwarz 1978) [4]
где ntrain — количество обучающих выборок, а p — количество параметров, которые модель машинного обучения оценивает внутри.
Следовательно, для более надежного сравнения нескольких моделей машинного обучения мы можем использовать AIC, AICc, BIC вместе с R, RMSE и смещением (Singh et al., 2021).
Ссылки
[1]. Сингх Абхилаш, Кумар Гаурав, Атул Кумар Рай и Зафар Бег «Машинное обучение для оценки шероховатости поверхности по спутниковым изображениям, Дистанционное зондирование, MDPI, 13 (19), 2021, DOI: 10.3390/rs13193794.»
[2]. Акаике, Х. (1969), «Подбор моделей авторегрессии для прогнозирования. Анналы Института статистической математики, 21, 243–247.»
[3]. Хурвич, К.М., и Цай, К.Л. (1989), «Выбор моделей регрессии и временных рядов в небольших выборках. Биометрика, 76, 297–307.»
[4]. Шварц, Г. (1978), «Оценка размера модели. Анналы статистики, 6, 461–464.»
Примечание. Если у вас есть какие-либо вопросы, напишите мне ([email protected]) или посетите мою веб-страницу.
