Погружаясь прямо, это самые основные показатели эффективности, которые можно использовать для оценки их модели обучения!
- Точность
- Взвешенная (чувствительная к стоимости) точность
- Поднимать
- Точность/отзыв
- Оценка F1
- ОКР - Область ОКР
Но прежде чем приступить к изучению этих инструментов, вот матрица путаницы, чтобы упростить демонстрацию. (Матрица путаницы демонстрирует таблицу истинных значений по сравнению с предсказанными значениями)
В целом, как часто классификатор оказывается правильным?
ТОЧНОСТЬ = (a+d)/(a+b+c+d)
Недостатки:
1. Предполагается одинаковая стоимость ошибок обоих типов.
2. Точность 99% может означать отличную, хорошую, посредственную, плохую или ужасную модель в зависимости от проблемы.
ПОДЪЕМ= [a/(a+b)]/[(a+c)/(a+b+c+d)]
не интересует точность всего набора данных • нужны точные прогнозы для 5 %, 10 % или 20 % набора данных • не заботятся об оставшихся 95 %, 90 %, 80 %, соответственно. • типичное применение: маркетинг
В целом, как часто классификатор ошибается?
Коэффициент ошибочной классификации=(b+c)/(a+b+c+d)
Когда он предсказывает «да», как часто он оказывается верным?
ТОЧНОСТЬ = d/(c+d)
Когда это на самом деле да, как часто это предсказывает да?
ОТЗЫВ (истинный положительный показатель или чувствительность) = d/(b+d)
Когда на самом деле нет, как часто он предсказывает да?
Коэффициент ложноположительных результатов = c/(a+c)
Когда на самом деле нет, как часто он предсказывает нет?
Специфичность = а/(а+с)
Как часто в нашей выборке встречается условие «да»?
Распространенность = (b+d)/(a+b+c+d)
BreakEvenPoint – это точка, в которой Precision==Recall
Оценка F1 = 2*((точность*отзыв) / (точность+отзыв)).
Его также называют показателем F или показателем F. Иными словами, оценка F1 отражает баланс между точностью и отзывом.
РПЦ
График чувствительности и специфичности
Чувствительность = отзыв = a/(a+b) (доля правильных 1 предсказаний)
Специфичность = d/(d+c) (Коэффициент правильных 0 прогнозов)
1-Специфичность (Коэффициент неправильных прогнозов 0: ложные срабатывания)
• Зона ОКР:
– 1,0: идеальный прогноз
– 0,9: отличный прогноз
– 0,8: хороший прогноз
– 0,7: посредственный прогноз
– 0,6: плохой прогноз
– 0,5: случайное предсказание
–‹0,5: даже не думайте об использовании модели. Период.
Резюме
• мера, которую вы оптимизируете, имеет значение
• мера, о которой вы сообщаете, имеет значение
• использовать меру, подходящую для проблемы/сообщества
• точность часто недостаточна/адекватна
• ROC набирает популярность в сообществе машинного обучения.
