Метрики, используемые для оценки модели классификации на основе CNN

Оценка модели классификации является крайне необходимым шагом в построении модели машинного обучения. Определение значений трех показателей необходимо при развертывании модели в реальных сценариях.

В моделях классификации может быть 2 способа решения постановки задачи: один — через метки классов, а другой — через вероятности.

Рассмотрим случай модели бинарной классификации, в ней есть 2 категории, которые можно пометить как «ДА» и «НЕТ». Предположим, что данный набор данных имеет 50 выборок ДА и 50 выборок НЕТ, т. е. коэффициент распределения набора данных составляет 50–50%. Точно так же, если соотношение составляет 60–40% или 70–30%, мы имеем сбалансированную модель, т. Е. Прогноз модели не будет смещен в сторону более высокого отношения. Для оценки сбалансированной модели в качестве метрики используется точность. Предположим, что коэффициент распределения набора данных составляет 80–20%, тогда есть вероятность, что модель будет смещена в сторону данных 80%, следовательно, модель будет несбалансированной. В этом случае для оценки модели используются такие показатели, как показатель F Beta, точность и полнота. Таким образом, метрика оценки выбирается в зависимости от типа модели.

Существуют различные показатели, используемые для оценки модели, а именно: матрица путаницы, ошибка FPR-типа 1, FNR, отзыв (TPR — истинная положительная скорость или чувствительность), точность, точность, F Beta, Cohen Kappa, кривая ROC, оценка AUC, Кривая пиара.

Матрица путаницы

Для модели бинарной классификации матрица путаницы представляет собой матрицу 2x2 с фактическими значениями по одной оси и прогнозируемыми значениями по другой. Диагональные элементы представляют истинное положительное значение TP и истинное отрицательное значение TN, т. е. фактическое значение и прогнозируемое значение совпадают. Недиагональные элементы — это ложноположительные и ложноотрицательные (FN) значения. Значения TP и TN представляют собой точные или истинные значения.

FPR- Коэффициент ложноположительных результатов= FP/(FP+TN) и FNR — Частота ложноотрицательных результатов = FN/(FN+TP). Во всех задачах классификации цель состоит в том, чтобы уменьшить ошибку типа 1 и ошибку типа 2. Для сбалансированного набора данных Точность можно рассчитать по формуле: Точность = TP+TN/(TP+FP+TN+FN)

Для несбалансированного набора данных этот метод нельзя использовать для определения точности. Предположим, что есть 900 изображений, принадлежащих классу A, и 100 изображений, принадлежащих классу B, тогда модель будет смещена в сторону класса A. Тестируемый образец будет предсказан как принадлежащий классу A. Таким образом, если точность вычисляется для этого случая с использованием предыдущей формулы, тогда Точность = TP+TN/(TP+FP+TN+FN) = 900+0/1000 = 90%!! Это значение неверно.

Таким образом, для таких моделей с несбалансированными наборами данных точность и полнота используются в качестве показателей для оценки модели.

Отзыв = TP/(TP+FN) или Истинно положительный показатель(TPR) или Чувствительность: сколько из общего числа фактических положительных значений положительные значения были предсказаны правильно.

Точность или Значение положительного прогноза = TP/(TP+FP): сколько из общего числа положительных прогнозируемых результатов было действительно положительным. В случае медицинского диагноза ложноотрицательный результат может иметь катастрофические последствия, поскольку он может ввести пациента в заблуждение, заставив его поверить, что у него не диагностировано конкретное заболевание, хотя на самом деле это не так. Следовательно, расчет отзыва необходим для модели прогнозирования заболеваний.

Теперь, в некоторых случаях несбалансированных наборов данных, когда и точность, и полнота одинаково важны для получения точных значений, учитывается показатель F Beta.

Когда Beta=1, это называется F1 Score. Если и FP, и FN одинаково важны, выберите показатель F1. В случае диагностики заболевания оба эти параметра одинаково важны, поэтому балл F1 можно использовать в качестве подходящей метрики для оценки модели. Если FP важнее, уменьшите значение Beta (обычно от 0 до 1), а если важно FN, увеличьте значение Beta (обычно в диапазоне от 1 до 10).