Кривые ROC отображают соотношение TPR и FPR и варьируют пороговые значения в зависимости от порядка ранжирования вероятностей обучающего набора. Выбранный порог - это вероятность, связанная с точкой в самом верхнем левом углу. Это в основном максимизирует TPR и минимизирует количество ложных срабатываний.
Однако, допустим, в моем приложении говорится о минимизации количества ложноотрицательных результатов? Тогда как изменится эта кривая? Как насчет баланса между ними?
Мне кажется, вы несколько неправильно понимаете, что такое кривая ROC.
Кривая ROC отображает отношение TPR к FPR при изменении порога. В результате кривые ROC на самом деле представляют собой трехмерные графики, отображающие взаимосвязь между 3 переменными: FPR, TPR и порогом. Каждая точка на графике отражает фактические значения TPR и FPR для определенного порогового значения. Левый нижний угол графика всегда отражает порог 1, а правый верхний угол отражает порог 0.
Кривые ROC имеют два обычных использования: для сравнения двух разных моделей независимо от порога и для помощи в выборе правильного порога. «Правильный порог» для приложения прогнозной аналитики будет немного отличаться в зависимости от конкретной проблемы, которую вы атакуете, но в целом вы можете использовать кривую ROC, чтобы выбрать порог с приемлемым компромиссом между TPR / FPR для вашего конкретного приложения. . Редко бывает, что простой выбор порога для точки, ближайшей к верхнему левому углу, дает идеальный результат.
После того, как вы выберете порог, который кажется идеальным из кривой ROC, вы можете исследовать матрицу неточностей и другие метрики оценки (точность, отзыв, точность, F1 и т. Д.) Для дальнейшей оценки порога.
Отвечая на ваш прямой вопрос, вы правы в том, что кривые ROC напрямую не показывают FNR. В этом случае вы можете использовать график чувствительности / специфичности, который отображает отношение TPR к TNR аналогично кривой ROC. Я не знаю стандартного метода оценки, который бы напрямую смотрел на FNR. Вместо этого я обычно просто переключаю метки «положительный» и «отрицательный» в своих данных и заново строю кривую ROC. Это дает (эффективно) TNR против FNR.
Однако, допустим, в моем приложении говорится о минимизации количества ложноотрицательных результатов? Тогда как изменится эта кривая?
Эта кривая останется такой же. Но вы больше не выбираете верхнюю левую точку (левый кружок на изображении) . Вместо этого вы должны попытаться максимизировать истинно положительный рейтинг (1-FNR). Это было бы действительно максимизируется, если вы присвоите всем баллам положительные значения. Поскольку это не поддается классификации (= глупо), вы должны выбрать точку ближе к верхнему правому углу ROC (справа на рисунке).
Как насчет баланса между ними?
Точка между верхним левым и верхним правым (посередине на картинке)
