Что такое матрица путаницы?
Матрица путаницы – это матрица (таблица), которую можно использовать для измерения производительности алгоритма машинного обучения, обычно контролируемого обучения.
Матрица путаницы — это метод обобщения производительности алгоритма классификации. Количество правильных и неправильных прогнозов суммируется с числовыми значениями и разбивается по каждому классу. Это ключ к матрице путаницы.
"Матрица путаницы показывает, как модель машинного обучения путается, когда делает прогнозы"
Это дает представление не только об ошибках, совершаемых моделью машинного обучения, но, что более важно, о типах совершаемых ошибок. Вычисление матрицы путаницы может дать вам лучшее представление о том, что делает ваша модель классификации правильно и какие типы ошибок она допускает.
Начнем с примера матрицы путаницы для бинарного классификатора.
Учитывая модель машинного обучения (двоичный классификатор) и экземпляр, возможны четыре результата.
- Если экземпляр положительный и если он классифицируется как положительный, он считается истинно положительным.
2. Если экземпляр положительный и классифицируется как отрицательный, он считается ложноотрицательным.
3. Если экземпляр отрицательный и если он классифицируется как отрицательный, он считается истинно отрицательным.
4. Если экземпляр отрицательный и если он классифицируется как положительный, он считается ложноположительным.
Давайте теперь определим самые основные термины и определения:
Я объясню основные термины и определения, используемые в матрице путаницы, на примере двоичного классификатора. Задача бинарного классификатора — предсказать наличие заболевания. Есть два возможных предсказанных класса: «да» и «нет» для бинарного классификатора. Например, «да» будет означать, что у них есть заболевание, а «нет» будет означать, что у них нет заболевания.
1) Tверные положительные результаты (TP): истинно положительный результат, при котором модель правильно предсказывает положительный класс. Все образцы, которые были идентифицированы как положительные метки и были действительно положительными. Это случаи, в которых мы предсказывали да (у них есть болезнь), и у них действительно есть болезнь.
2) Tверно отрицательные (TN): истинно отрицательные результаты, при которых модель правильно предсказывает отрицательный класс. Все образцы, которые были идентифицированы как отрицательные метки, были действительно отрицательными. Мы прогнозировали, что нет, и у них нет болезни.
3) Fложноположительные результаты (FP): ложноположительные – это результат, при котором модель неправильно предсказывает положительный класс. Все образцы, которые были идентифицированы как положительные метки, на самом деле были отрицательными. Мы предсказывали да, но на самом деле у них нет болезни. (Также известна как «ошибка типа I».)
4) Fложноотрицательные (FN): ложноотрицательные – это результат, при котором модель неправильно предсказывает отрицательный класс. Все образцы, которые были идентифицированы как отрицательные метки, на самом деле были положительными. Мы предсказывали, что нет, но у них действительно есть болезнь. (Также известна как «ошибка типа II».)
Список коэффициентов и показателей, которые часто вычисляются из матрицы путаницы для двоичного классификатора:
Точность:
Точность — это одна из метрик для оценки моделей классификации. Это говорит нам, как часто классификатор верен. Неформально точность — это доля правильных прогнозов, полученных нашей моделью. Формально точность имеет следующее определение:
Для бинарной классификации точность также может быть рассчитана с точки зрения положительных и отрицательных результатов следующим образом:
Точность:
Точность — это способность модели классификации возвращать только релевантные экземпляры. Точность говорит о том, насколько точна/точна ваша модель по сравнению с предсказанными положительными, сколько из них действительно положительные. Если модель предсказывает «да», то насколько часто она оказывается верной, определяется как точность.
Точность является хорошей мерой для определения, когда стоимость ложного срабатывания высока. Например, обнаружение спама в электронной почте. При обнаружении спама в электронной почте ложное срабатывание означает, что электронное письмо, не являющееся спамом (фактически отрицательное), было идентифицировано как спам (прогнозируемый спам). Пользователь электронной почты может потерять важные электронные письма, если точность модели обнаружения спама невелика.
Напомнить:
Точное определение отзыва - это количество истинных положительных результатов, деленное на количество истинных положительных результатов плюс количество ложноотрицательных результатов. Истинные положительные результаты — это точки данных, классифицированные моделью как положительные (то есть верные), а ложноотрицательные — это точки данных, которые модель идентифицирует как отрицательные, но которые на самом деле являются положительными (неправильными).
Истинно положительные результаты:
Когда на самом деле да, как часто модель предсказывает да?
Истинный положительный показатель также известен как «Чувствительность» или «Отзыв».
Напомним, что фактически подсчитывается, сколько фактических положительных результатов фиксирует наша модель, помечая ее как положительное (истинно положительное). Применяя то же понимание, мы знаем, что отзыв должен быть метрикой модели, которую мы используем для выбора нашей лучшей модели, когда есть высокая стоимость, связанная с ложным отрицанием.
Например, при обнаружении мошенничества или выявлении больных пациентов. Если мошенническая транзакция (фактически положительная) прогнозируется как не мошенническая (прогнозируемая отрицательная), последствия могут быть очень плохими для банка.
Конкретность:
Специфичность — это доля действительно отрицательных случаев, которые были классифицированы как отрицательные; таким образом, это мера того, насколько хорошо ваш классификатор идентифицирует отрицательные случаи. Он также известен как истинно отрицательный показатель. Формально,
Истинно отрицательный показатель:
Когда на самом деле нет, как часто модель предсказывает «нет»?
Истинный отрицательный показатель также известен как «Чувствительность». Это эквивалентно 1 минус показатель ложных срабатываний.
