Матрица путаницы обычно представляет собой таблицу 2 x 2, которая используется для оценки эффективности классификационной модели модели в тесте данные, для которых конечный результат/класс уже известен. То же самое может быть распространено на несколько классов.

Строки матрицы путаницы представляют прогнозируемый класс, а столбцы представляют фактический класс. Первый столбец представляет нулевую гипотезу, скажем, образец крови не содержит вирус или говорит, что вирус не принадлежит к классу X. Второй столбец представляет альтернативную гипотезу, которая является отрицанием нулевой гипотезы, скажем, образец крови содержит вирус. вирус или сказать, что вирус принадлежит к классу X.

Давайте возьмем это отсюда, используя пример.

Предположим, что мы создали новую модель распознавания лиц для проверки безопасности в аэропорту, чтобы проверить нескольких подозреваемых, находящихся в бегах. Модель должна правильно идентифицировать подозреваемых и предупредить чиновников. Итак, после того, как модель была представлена ​​общественности в течение нескольких месяцев, у нас были некоторые результаты. Давайте теперь проанализируем эти результаты.

Всего по этой модели было проверено 1000 человек. Из которых модель смогла правильно идентифицировать/классифицировать не подозреваемого как не подозреваемого 750 раз. Здесь нулевая гипотеза состоит в том, что человек не является подозреваемым. Итак, модель принимает нулевую гипотезу, которая верна (от фактического значения). Это называется Истинно позитивным и занимает первое место в матрице путаницы.

Теперь, когда мы увидели, что модель идентифицирует не подозреваемых, мы продолжим изучение того, насколько хорошо наша модель может классифицировать подозреваемых.

Модель могла успешно классифицировать 150 подозреваемых как подозреваемых. Этот термин называется True Negative и занимает последнюю позицию в матрице путаницы. Здесь модель смогла отвергнуть нулевую гипотезу, когда нулевая гипотеза также была ложной во всех этих случаях.

Теперь давайте рассмотрим оставшиеся два случая. Модель классифицировала 89 человек как подозреваемых, но на самом деле их не было в списке подозреваемых. Этот случай похож на ложную тревогу, здесь мы отвергаем нулевую гипотезу, которая на самом деле верна. Они называются ложными срабатываниями или также называются ошибками типа I.

Последнее дело является самым важным в этом сценарии, потому что мы не хотим, чтобы подозреваемые сбежали. Здесь модель классифицировала 11 подозреваемых как не подозреваемых, что означает, что классификатор пропустил цели, или вы можете сопоставить неисправный сигнал тревоги, который не прозвучал во время бедствия. Модель приняла нулевую гипотезу, которая на самом деле была ложной. Это называется ложным отрицательным результатом или ошибкой типа II.

При построении модели мы всегда должны проверять эти ошибки типа I и типа II, поскольку они могут быть более важными/важными в зависимости от контекста проблемы по сравнению с высокой точностью модели.

Первоначально опубликовано на http://thedataresearch.wordpress.com 7 апреля 2020 г.