Матрица путаницы — это матрица N x N, используемая для оценки производительности модели классификации, где N — количество целевых классов. Матрица сравнивает фактические целевые значения с предсказанными моделью машинного обучения. Это дает нам целостное представление о том, насколько хорошо работает наша модель классификации и какие ошибки она допускает.
Для задачи бинарной классификации у нас будет матрица 2 x 2, как показано ниже, с 4 значениями:
Зачем вам нужна матрица путаницы?
Ну, это измерение производительности для задачи классификации машинного обучения, где вывод может быть двумя или более классами. Это таблица с 4 различными комбинациями прогнозируемых и фактических значений.
Это чрезвычайно полезно для измерения полноты, точности, специфичности, точности и, что наиболее важно, кривой AUC-ROC. Давайте поймем TP, FP, FN, TN с точки зрения аналогии с беременностью.
Истинный положительный результат:
Интерпретация: Вы предсказали положительный результат, и это правда. Вы предсказали, что женщина беременна, и она действительно беременна.
Верно отрицательный:
Интерпретация: вы предсказали отрицательный результат, и это правда. Вы предсказали, что мужчина не беременен, и на самом деле его нет.
Ложное срабатывание: (ошибка типа 1)
Интерпретация: вы предсказали положительный результат, но он неверен. Вы предсказали, что мужчина беременен, но на самом деле это не так.
Ложноотрицательный результат: (ошибка типа 2)
Интерпретация: вы предсказали отрицательный результат, и он оказался ложным. Вы предсказали, что женщина не беременна, но она на самом деле беременна.
Просто помните: мы описываем прогнозируемые значения как положительные и отрицательные, а фактические значения — как истинные и ложные.
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Расчеты с использованием матрицы путаницы:
Мы можем выполнять различные вычисления для модели, например, точность модели, используя эту матрицу. Эти расчеты приведены ниже:
- Точность классификации. Это один из важных параметров, определяющих точность задач классификации. Он определяет, как часто модель предсказывает правильный результат. Его можно рассчитать как отношение количества правильных прогнозов, сделанных классификатором, ко всему количеству прогнозов, сделанных классификаторами. Формула приведена ниже:
- Коэффициент ошибочной классификации. Он также называется коэффициентом ошибок и определяет, насколько часто модель дает неверные прогнозы. Значение частоты ошибок может быть рассчитано как количество неправильных предсказаний ко всему количеству предсказаний, сделанных классификатором. Формула приведена ниже:
- Точность. Ее можно определить как количество правильных выходных данных, предоставленных моделью, или количество из всех положительных классов, правильно предсказанных моделью, которые были на самом деле верными. Его можно рассчитать по следующей формуле:
- Напомнить: он определяется как количество положительных классов, правильное предсказание нашей модели. Отзыв должен быть как можно выше.
- F-мера: если две модели имеют низкую точность и высокую полноту или наоборот, их сложно сравнивать. Итак, для этой цели мы можем использовать F-оценку. Эта оценка помогает нам оценить отзыв и точность одновременно. F-оценка максимальна, если отзыв равен точности. Его можно рассчитать по следующей формуле:
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Матрица путаницы, решающая проблему кибербезопасности:
Набор данных:
- Набор данных, который мы использовали для этой работы, представляет собой набор данных UNSW-NB15 системы обнаружения вторжений (IDS), доступный в системах AARNet.
- Этот набор данных был сгенерирован инструментом IXIA PerfectStorm в лаборатории Cyber Range Австралийского центра кибербезопасности (ACCS). Инструмент TCPdump, используемый для получения сетевого трафика объемом 100 ГБ.
- Этот набор данных содержит недавние атаки вторжений и их наборы функций в помеченном виде, что позволяет точно обучать модель. Наборы функций извлечены и сохранены в отдельном файле «UNSW-NB15 features.csv».
Ниже показана матрица путаницы для простого бинарного классификатора:
На приведенном выше рисунке мы можем видеть значения прогнозируемых результатов и фактические результаты после классификации. В матрице путаницы соблюдаются четыре правила:
- Истинные положительные результаты (TP): в этом сценарии прогнозируемый результат и фактический результат становятся положительными. Например, у пациента прогнозируют рак, а после обследования выяснилось, что у пациента рак.
- Истинные негативы (TN): в этом сценарии прогнозируемый результат и фактический результат становятся отрицательными. Например, у пациента не было рака, и после обследования выяснилось, что у пациента не было рака.
- Ложные срабатывания (FP): в этом сценарии прогнозируемый результат был «да», но фактический результат был «нет». Например, было предсказано, что у пациента рак, а после обследования выяснилось, что у пациента не было рака.
- Ложноотрицательные результаты (FN): в этом сценарии прогнозируемый результат был «нет», но фактический результат был найден «да». Например, было предсказано, что у пациента нет рака, а после обследования выяснилось, что у пациента рак.
Ниже показана матрица путаницы после применения вышеуказанных правил.
Отчет о классификации:
Отчет о классификации представляет собой черновой вариант визуализации, в котором отображаются четыре базовых параметра модели классификации: точность, полнота, оценка F1 и поддержка для определения уровня точности благодаря подгонке модели. Это помогает в более простой интерпретации и обнаружении путем интеграции числовых оценок с помощью цветовой тепловой карты.
Спасибо, что читаете этот блог!!!!
