Модель классификации определяет, к какому из набора категорий относится новое наблюдение. Классификация — это контролируемый подход к обучению, в котором целевая переменная является категориальной.

Оценка модели машинного обучения так же важна, как и ее создание. Мы создаем модели для работы с новыми и невидимыми данными. Следовательно, нам нужно оценить, правильно ли работает наша модель. Оценка модели классификации непроста, поскольку существует множество оценочных показателей. Когда использовать какую метрику, зависит от данных и проблемы проекта.

В этом посте я расскажу об основных метриках оценки модели классификации и о том, когда их использовать.

Точность

Точность — это просто количество верных прогнозов. Он рассчитывается как количество правильных прогнозов, деленное на общее количество прогнозов.

Точность не является правильной мерой, если в ваших данных есть дисбаланс классов. Предположим, что классы в наборе данных составляют 90 % класса A и 10 % класса B. Если модель прогнозирует только класс A, точность этой модели составляет 90 %.

Таким образом, точность не является корректной мерой, если в данных присутствует дисбаланс классов.

Когда использовать.Точность является хорошим показателем оценки, если в данных нет большого дисбаланса классов.

Матрица путаницы

Это матрица, состоящая из количества истинно положительных, истинно отрицательных, ложноположительных и ложноотрицательных результатов. Матрица путаницы сама по себе не является метрикой оценки, но значения в матрице путаницы могут создавать дополнительные метрики оценки.

  • Истинно положительный (TP):правильно прогнозируется положительный класс.
  • Ложное срабатывание (FP): ошибочно предсказан положительный класс.
  • Истинно отрицательный (TN): верно предсказано, что это не положительный класс.
  • Ложноотрицательный (FN): неверно предсказано, что это не положительный класс.

Точность

Точность измеряет, насколько хорошо модель предсказывает положительный класс. Если модель предсказывает положительный результат, как часто она оказывается верной. В центре внимания точности находятся положительные прогнозы.

Когда использовать. Используется, когда вы заботитесь о том, чтобы положительные прогнозы были правильными.

Отзыв или чувствительность или истинная положительная скорость

Отзыв — это мера того, насколько хорошо модель идентифицирует фактические положительные моменты. Он указывает, какую часть положительного класса правильно идентифицировала модель. В центре внимания находится настоящий позитивный класс.

Когда использовать.Оно используется, когда вы заботитесь о том, чтобы правильно классифицировать фактические положительные результаты.

Оценка F1

Оценка F1 представляет собой гармоническое среднее значений точности и полноты. Значения очков F1 находятся в диапазоне от 0 до 1, где 0 — худшее, а 1 — лучшее. Оценка F1 используется, когда вам нужен баланс в точности и отзыве.

Когда использовать:Оценку F1 можно использовать, если существует дисбаланс классов и когда вам нужен баланс между точностью и отзывом.

Специфичность или истинно отрицательный результат

Специфичность — это метрика, которая оценивает способность модели предсказывать истинные негативы. Специфика — это полная противоположность отзыву. Когда фактическое значение отрицательное, как часто прогноз оказывается верным?

Когда использовать:это используется, когда вы заботитесь о том, чтобы фактическое отрицание было правильно классифицировано.

Кривая ROC и AUC

Кривая ROC суммирует производительность модели при различных пороговых значениях путем объединения матриц путаницы при всех пороговых значениях. По оси X ROC-кривой отложена доля истинно положительных результатов (чувствительность), а по оси Y ROC-кривой отложена доля ложноположительных результатов (1-специфичность). Идеальная модель может иметь значение AUC, равное 1.

Когда использовать.Его следует использовать, когда вы в равной степени заботитесь о положительных и отрицательных классах. Если мы заботимся об истинных отрицательных значениях так же, как и об истинных положительных, то использование ROC AUC имеет смысл.

Вывод

Не существует оптимальной метрики для всех задач. Важно учитывать, на какой вопрос вы пытаетесь ответить, когда решаете, какую метрику оценки использовать. Вы должны решить, какую метрику оценки использовать в зависимости от ваших данных и вашей проблемы.