Машинное обучение
Расшифровка и понимание метрик классификации
Методы «наилучшей оценки» дают «лучшие модели».
Оглавление
· Оглавление
· Точность
· Матрица путаницы
· Точность и полнота
· Оценка F-1
· Кривая ROC (рабочая характеристика приемника)
· Заключение
Написание одной строки кода для оценки производительности моделей машинного обучения — это круто, но знание того, что происходит за этими строками кода, делает вас хорошим специалистом по данным.
Мы учимся точности, чтобы оценивать наши модели на начальных этапах нашего пути изучения науки о данных, но это скрывает много полезной информации о наших моделях.
В этом посте мы обсуждаем следующие метрики классификации и то, что они говорят нам о производительности наших моделей.
- Точность
- Матрица путаницы
- Точность и полнота
- Оценка F1
- Кривая ROC
Точность
Точность — это доля действительно предсказанных классов среди общего числа классов. Точность дает представление об общей производительности наших моделей, но в большинстве случаев она может ввести в заблуждение. Более высокая точность не всегда означает, что наша модель работает нормально, поскольку в ней есть некоторые скрытые проблемы.
Чтобы понять это, давайте предположим, что мы создаем модель для классификации людей как мужчин или женщин на основе их атрибутов. Используемый нами набор данных имеет несбалансированное распределение классов, что означает, что количество каждого из классов не равно. Скажем, у нас есть в общей сложности 100 записей с 99 мужчинами и только 1 женщиной. Модель правильно предскажет все мужские классы и даст точность 99%. Следовательно, точность полезна только при сбалансированном распределении классов.
Матрица путаницы
Матрица путаницы обеспечивает более полное представление о производительности модели, предоставляя нам точные пропорции правильно и неправильно предсказанных классов в виде таблицы или матрицы.
Рассмотрим задачу, в которой мы строим модель, которая выявляет рак у пациентов, в таком случае мы бы никогда не хотели, чтобы у человека с раковой опухолью диагностировали доброкачественное заболевание. Здесь на помощь приходит матрица путаницы, которая сообщает нам точные меры правильных и неправильных прогнозов, как показано на изображении ниже.
Здесь Истинный положительный результат означает классы, которые были предсказаны как истинные и были на самом деле верными. Истинно отрицательные — это классы, которые были предсказаны ложными и на самом деле оказались ложными. Ложноположительные — это классы, которые были предсказаны как истинные, но на самом деле они были ложными, а ложноотрицательные — это классы, которые были предсказаны как ложные, но на самом деле были истинными.
Точность и отзыв
Точность — это оценка, которая показывает, насколько часто наша модель оказывается верной, когда она предсказывает «да», или соотношение правильно предсказанных истинных классов ко всем истинным классам, предсказанным нашей моделью. Математически это описывается как
точность = TP / TP + FP
Отзыв - это истинная положительная скорость, которая сообщает нам скорость действительно предсказанных положительных классов. Это полезно в тех случаях, когда мы никогда не хотим пропустить положительный класс, как в примере с раком, упомянутом выше. Математически,
отзыв = TP / TP + FN
Оценка F-1
Оценка F-1 — это гармоническое среднее точности и отзыва, которое дает нам среднее значение обеих оценок. Более высокие показатели точности и отзыва означают, что показатель f1 также выше, и наоборот. Математическая формула такова,
Оценка f1 = отзыв . точность/отзыв + точность
Кривая ROC (рабочая характеристика приемника)
ROC — это графическое представление производительности нашей модели. Истинная положительная частота отложена по оси ординат, а ложноположительная частота отложена по оси абсцисс. Классификаторы, формирующие кривую ROC в верхнем левом углу, дают более точные прогнозы.
Заключение
В этом посте мы обсудили пять самых популярных метрик классификации и что они говорят нам о производительности нашей модели. В идеале мы используем более одной метрики, поскольку они в совокупности дают больше информации, когда речь идет о сравнении различных моделей. Я надеюсь, что это помогло вам понять разницу между всеми показателями и расширило ваше понимание того, как вы можете оценивать свои модели. Жмите аплодисменты и делитесь статьей, если она вам понравилась. Спасибо за чтение!
PS: я провожу опрос об удовлетворенности пассажиров авиакомпаниями. Пожалуйста, помогите мне, заполнив эту форму Google, это займет всего минуту или две. Заранее спасибо!
