Следующая статья поможет вам преодолеть путаницу, возникшую из-за Confusion Matix в задаче классификации.
В настоящее время машинное обучение и искусственный интеллект используются практически во всех сферах отрасли. Оценка наших моделей так же важна, как и их построение. Давайте попробуем понять матрицу путаницы - метод оценки и его атрибуты с точки зрения аналитика рисков кибербезопасности.
Рассмотрим сценарий, в котором мы должны обнаружить анонимную систему, которая атакует наши частные серверы. Мы разместили систему машинного обучения между брандмауэром и сервером. Таким образом, в основном мы используем машинное обучение для обнаружения вредоносной системы, которая может пройти через брандмауэр (-ы), то есть мы должны классифицировать, является ли система, проходящая через брандмауэр, вредоносной или не вредоносной.
Таким образом, вопрос сценария заключается в том, способна ли какая-либо анонимная и потенциально вредоносная система взломать систему.
Давайте выдвинем нулевую гипотезу -
Обнаружен взлом на сервере
Теперь нам нужно определить, следует ли отвергать эту гипотезу или мы не можем отвергнуть эту гипотезу.
Предположим, что за день на сервере происходит 10 000 обращений, включая всех сотрудников из различных отделов нашей компании и злоумышленников, которые пытаются украсть ваши данные или взломать ваши системы.
Наша модель машинного обучения классифицировала следующее:
Всего обращений к системе: 10000
- Хиты, классифицированные как невредоносные: 9465
- Хиты, классифицированные как вредоносные: 535
После дальнейшего расследования этого вопроса мы обнаружили, что -
- Из 9465 обращений, которые были классифицированы как незащищенные, 8809 на самом деле не были вредоносными.
- Из этих 535 обращений, классифицированных как вредоносные, 437 действительно были вредоносными
Это известно как абсолютная правда.
Теперь мы будем оценивать прогнозы нашей модели на предмет их истинности. Наша модель машинного обучения выполняет бинарную классификацию, и мы могли бы использовать ряд показателей и графиков, чтобы получить представление о производительности нашей модели. Одним из таких показателей оценки является Матрица неточностей.
Матрица неточностей - это таблица, которая позволяет визуализировать работу алгоритма. Давайте посмотрим, как выглядит матрица путаницы -
Это сетка 2X2. Столбцы представляют классы основной истины, тогда как строки представляют классы прогнозов. Матрица неточностей - это метод суммирования производительности алгоритма классификации. Всего 4 ячейки - TP, FP, FN, TN.
Давайте свяжем эту таблицу с нашим приложением…
Давайте углубимся в эту матрицу ...
- Из 10 000 записей наша модель предсказала, что 535 записей являются вредоносными (класс 1), из которых 437 были действительно вредоносными (класс 1).
- Наша модель предсказала, что из 10 000 записей 9465 являются невредоносными (класс 0), из которых 8809 фактически не являются вредоносными (класс 0).
TP - True Positives
Истинно-положительный результат - это общее количество записей, которые были правильно классифицированы как вредоносные (класс 1).
TN - True Negatives
True Negative - это общее количество записей, которые были правильно классифицированы как не вредоносные (класс 0).
FP - ложные срабатывания
Ложные срабатывания - это общее количество записей, которые действительно были вредоносными (класс 1), но были классифицированы моделью как не вредоносные (класс 0).
Это известно как ошибка типа 1 -
Ошибка типа I - это отказ от истинной нулевой гипотезы. Это означает, что мы отвергаем гипотезу «Обнаружено нарушение», даже если на сервере действительно есть нарушение.
FN - ложноотрицательные
Ложноотрицательные - это общее количество записей, которые фактически не были вредоносными (класс 0), но были классифицированы моделью как вредоносные (класс 1).
Это известно как ошибка 2-го типа.
Ошибка типа II - это не отклонение ложной нулевой гипотезы. Это означает, что мы не смогли отвергнуть гипотезу «Обнаружено нарушение», хотя на сервере не было взлома.
Какая ошибка потенциально более опасна и почему?
Давайте посмотрим, какими потенциальными угрозами обладают эти двое ...
В ошибке Тип II мы классифицировали систему (не вредоносную) компании как вредоносную. В этом случае мы могли бы дополнительно исследовать пользователя этой системы, чтобы выяснить, что эта система на самом деле не является вредоносной, и мы потенциально можем избавиться от этой проблемы.
Но в случае ошибки типа I мы классифицировали вредоносную систему как незащищенную. Это означает, что эта вредоносная система обошла нашу безопасность и может вызвать утечку данных и нарушение в системе. Таким образом, очень важно, чтобы эта ошибка была как можно меньше, поскольку это очень опасно.
Вот и все! Спасибо!
