В области машинного обучения вы, несомненно, встречали термин "Производительность модели" или "Оценка модели". Чем выше точность модели, тем она лучше. считается.

Но почему оценка модели так важна?

Когда мы обучаем нашу модель, мы хотим знать, насколько хорошо наша модель будет работать с невидимыми/тестовыми данными. Вот почему мы оцениваем нашу модель с помощью некоторых показателей оценки. Сегодня мы поговорим об одной из таких оценочных метрик, известной как матрица путаницы.

Для оценки моделей машинного обучения используются разные инструменты, различающиеся в зависимости от типа модели — будь то классификация или регрессия. Сегодня мы поговорим о классификации моделей машинного обучения.

Что такое Классификация?

В машинном обучении классификация — это метод, позволяющий успешно предсказать, принадлежит ли объект к положительному классу или отрицательному классу.

Существуют различные типы классификации, например, двухклассовая классификация и многоклассовая классификация.

Понимание двухклассовой классификации на примере

Двухклассовая или бинарная классификация в машинном обучении предполагает прогнозирование принадлежности объекта к классу A или классу B.

Чтобы проиллюстрировать это, рассмотрим сценарий, в котором в классе 10 учащихся, и, основываясь на их успеваемости в классе, вы должны предсказать, сдадут или не сдадут учащиеся экзамен.

Теперь студент может либо пройти, либо провалиться. Вы можете предсказать это с помощью различных входных характеристик, таких как результаты тестов, посещаемость, участие в занятиях и т. д. Считайте «пройдено» как класс A и «неудовлетворительно» как класс B.

Теперь давайте углубимся в концепцию матрицы путаницы.

Что такое матрица путаницы?

Матрица путаницы — это матрица N x N, где N представляет количество классов. Эта матрица служит инструментом для оценки моделей классификации. Это похоже на таблицу с N строками и N столбцами, представляющую соотношение успешных и неудачных прогнозов.

Компоненты матрицы путаницы

Матрица путаницы состоит из четырех ключевых компонентов:

  1. Истинно положительный.Это соотношение относится к случаям, когда фактический класс данных является положительным, и модель правильно предсказывает его как положительное. Это означает успешное предсказание для положительного класса.
  2. Истинно отрицательный: в этом случае фактический класс является отрицательным, и модель правильно предсказывает его как отрицательное. Это подразумевает успешное предсказание для отрицательного класса.
  3. Ложное срабатывание. Ложное срабатывание возникает, когда фактический класс является отрицательным, но модель неверно предсказывает его как положительное.
  4. Ложноотрицательный. Этот сценарий возникает, когда фактический класс является положительным, но модель предсказывает его отрицательным.

Смущенный? Не беспокойтесь, давайте углубимся в это.

Почему матрица N x N?

При работе с матрицей путаницы необходимо помнить о двух ключевых аспектах: фактическом значении класса и прогнозируемом значении класса. Для одного фактического значения может быть два или более потенциальных прогнозируемых значения.

В нашем случае, когда фактическое значение равно «Пройдено», прогнозируемое значение может быть либо «Пройдено», либо «Не пройдено». Точно так же, когда фактическое значение равно «Fail», прогнозируемое значение может быть «Pass» или «Fail». Это означает, что каждый класс имеет два возможных прогноза:

Фактическое значение: Пройдено, Прогнозируемое значение: Пройдено

Фактическое значение: Пройдено, Прогнозируемое значение: Не пройдено

Фактическое значение: не пройдено, прогнозируемое значение: пройдено

Фактическое значение: сбой, прогнозируемое значение: сбой

Это показывает, что для каждого класса может быть несколько прогнозов. По сути, для одного класса у нас есть потенциал для N прогнозов, где N представляет количество классов.

Теперь, в сценарии классификации с двумя классами, мы имеем дело с двумя классами, и для каждого класса может быть два прогноза. Таким образом, мы получаем матрицу 2x2. Этот шаблон распространяется на любое количество классов, что дает матрицу N x N.

Как матрица путаницы помогает в оценке модели?

Рассмотрим матрицу 2 x 2 для задачи бинарной классификации. Теперь строки представляют фактические значения класса, а столбцы представляют значения прогнозируемого класса. Строка 1 представляет положительный класс, а строка 2 представляет отрицательный класс. Точно так же столбец 1 представляет положительный класс, а столбец 2 представляет отрицательный класс, как показано на рисунке.

Что касается положительных и отрицательных классов, эти различия зависят от контекста. Например, при классификации результатов «пройдено» или «не пройдено», «Пройдено» может быть положительным классом, а «Не пройдено» может быть отрицательным классом. Однако выбор за вами.

Предположим, мы предсказываем, сдаст или не сдаст студент. Есть два класса: класс A (сдал) и класс B (не сдан). Рассмотрим Pass как положительный класс и Fail как отрицательный класс.

Рассмотрим эти данные и давайте рассчитаем соотношение всех четырех компонентов матрицы путаницы.

Истинно положительный результат.Истинно положительный результат возникает, когда учащийся фактически сдал экзамен, и модель предсказывала его сдачу.

Верно отрицательный результат:правильный отрицательный результат возникает, когда учащийся действительно не справляется, а модель предсказала его провал.

Ложноположительный результат. Ложноположительный результат возникает, когда учащийся на самом деле не сдал экзамен, а модель предсказывала его успешное завершение.

Ложноотрицательный результат:Ложноотрицательный результат возникает, когда учащийся на самом деле не прошел тест, а модель предсказала его провал.

Все эти истинно положительные, истинно отрицательные, ложноположительные и ложноотрицательные должны суммироваться до 1.

Сумма = TP+TN+FP+FN

Сумма = 0,3+0,3+0,1+0,3

Сумма = 1

Помните, что термины "положительный" и "отрицательный" совпадают с прогнозами модели. Например, в "Истинно положительный" "положительный" означает, что модель предсказала положительный класс, а "верный" означает правильность прогноза.

Точно так же в True Negative отрицательное значение означает, что модель предсказала отрицательный класс, а true означает, что это правильно.

В случае ложного срабатывания положительное значение означает, что модель предсказала положительный класс, а ложное значение означает, что оно неверно. Это означает, что фактический класс был отрицательным, а модель неправильно предсказала его положительным.

Точно так же вы можете применить эту концепцию с False Negative.

Заключение

Благодаря этим объяснениям у вас теперь есть базовое понимание того, что такое матрица путаницы и ее основные компоненты. Я углублюсь в математические аспекты матрицы путаницы в своей следующей статье. Следите за обновлениями следующей статьи, следуя за мной.

Я верю, что сегодня вы узнали что-то новое — не стесняйтесь выразить свою поддержку, поаплодировав этой статье.

Продолжай учиться :).