Матрица неточностей - это матрица размером N x N, используемая для оценки эффективности модели классификации, где N - количество целевых классов. Матрица сравнивает фактические целевые значения со значениями, предсказанными моделью машинного обучения.

Для двоичной классификации матрица неточностей имеет размер 2 x 2, как показано ниже с 4 выходными данными:

Двоичный классификатор предсказывает, что все экземпляры данных набора тестовых данных либо положительные, либо отрицательные. Это дает четыре результата:

  1. Истинно-положительный (TP): TP - правильный положительный прогноз означает, что фактическое значение было положительным, а модель предсказала положительное значение.
  2. Ложноположительный (FP): FP - неверный положительный прогноз означает, что фактическое значение было отрицательным, но модель предсказала положительное значение. Она также известна как ошибка типа 1.
  3. Истинно-отрицательное (TN): TN - верный отрицательный прогноз означает, что фактическое значение было отрицательным, а модель предсказала отрицательное значение.
  4. Ложноотрицательный (FN): FN - неверный отрицательный прогноз означает, что фактическое значение было положительным, но модель предсказала отрицательное значение. Она также известна как ошибка типа 2.

Основные показатели, полученные из матрицы неточностей

Точность: точность классификации - это отношение правильных прогнозов к общему количеству сделанных прогнозов.

Чувствительность (показатель отзыва или истинного положительного результата): его также называют отзывом (REC) или истинно положительным показателем (TPR). Чувствительность рассчитывается как количество правильных положительных прогнозов (TP), деленное на общее количество положительных результатов.

Специфичность (истинно отрицательная скорость): ее также называют истинно отрицательной скоростью (TNR). Специфичность рассчитывается как количество правильных отрицательных прогнозов (TN), деленное на общее количество отрицательных прогнозов.

Точность (прогнозируемое положительное значение). Точность означает, что ложные срабатывания являются теми случаями, когда модель неправильно отмечает положительные результаты, которые на самом деле являются отрицательными, или, например, лица, которые модель классифицирует как террористов, не являются таковыми.

Коэффициент ошибок: рассчитывается как количество всех неверных прогнозов, деленное на общее количество данных в наборе. Наилучший коэффициент ошибок составляет 0,0, а наихудший - 1,0.

Оценка F или F1 (среднее гармоническое значение точности и запоминания): оценка F - это средневзвешенное значение точности и отзыва. Таким образом, эта оценка учитывает как ложные срабатывания, так и ложные отрицательные результаты. Интуитивно это не так просто понять, как точность, но F обычно более полезен, чем точность, особенно если у вас неравномерное распределение классов. Точность работает лучше всего, если ложные срабатывания и ложные отрицания имеют одинаковую стоимость. Если стоимость ложных срабатываний и ложных срабатываний сильно различается, лучше смотреть как на точность, так и на отзыв.

Заключение:

Эти термины сбивают с толку на начальном уровне изучения, но как только вы ознакомитесь с этими терминами, вам будет очень полезно проанализировать и оценить модель.

Надеюсь, вы получили общее представление о матрице неточностей и о том, как использовать эти концепции для оценки модели.

Если вам понравился блог или вы нашли его полезным, пожалуйста, оставьте аплодисменты!

Спасибо за внимание!