Кажется, почти все знают, что такое точность и полнота в машинном обучении и почему важно поддерживать компромисс между ними. Но за свою карьеру я видел не так много людей, которые действительно знали, как достичь компромисса.

Точность и полнота вместе используются для оценки производительности модели классификации.

ОПРЕДЕЛЕНИЕ

Проще говоря, точность говорит нам, какая доля положительных идентификаций была действительно правильной, а отзыв говорит нам, какая доля фактические положительные моменты были определены правильно.

Точностьзадается как TP/(TP+FP)

И Отзывзадается TP/(TP+FN)

ЗНАМЕНИТЫЙ КОМПРЕСС

Чтобы полностью оценить эффективность модели, мы должны изучить как точность, так и полноту. К сожалению, Precision и Recall часто находятся в противоречии. То есть повышение Точности обычно снижает Отзыв и наоборот. Это называется компромиссом Precision-Recall.

БИЗНЕС-ТРЕБОВАНИЯ

Теперь, в соответствии с требованиями бизнеса, мы, как правило, выбираем либо высокую точность и низкий отзыв, либо высокий отзыв и низкую точность.

Всякий раз, когда мы хотим уменьшить эффект ложных отрицательных результатов, мы должны использовать высокую полноту и низкую точность. Модель, которая не дает ложноотрицательных результатов, будет иметь отзыв 100%.

Всякий раз, когда мы хотим уменьшить эффект ложных срабатываний, мы должны использовать низкий отзыв и высокую точность. Модель, которая не дает ложных срабатываний, будет иметь точность 100%.

КАК ОБМЕНА

Но как мы поддерживаем этот компромисс?

С помощью F-Beta Measure мы можем повысить точность и уменьшить полноту или наоборот.

Показатель F-бета определяется как [(1 + бета²) P*R] / [(бета² * P) + R]

Теперь, если мы выберем значение бета меньше 1, например, 0,5, то мы можем сказать, что мы уменьшаем влияние ложных срабатываний и, таким образом, имеем высокую точность и низкий отзыв. Таким образом, мы фактически увеличиваем порог классификации.

Если мы выбираем значение бета больше 1, например, 2, то мы можем сказать, что мы уменьшаем влияние ложных отрицательных результатов и, таким образом, имеем высокий отзыв и низкую точность. Таким образом, мы фактически снижаем порог классификации.

СРЕДНЕЕ ГАРМОНИЧЕСКОЕ

Если бета равна 1, то мера F-бета есть не что иное, как среднее гармоническое точности и полноты (F-мера). Кроме того, вне рамок этого документа, по сравнению со средним арифметическим и средним геометрическим, гармоническое среднее наносит наибольший ущерб модели, когда даже один из параметров Точность и Отзыв имеет низкое значение.

ПРИМЕРЫ

Теперь давайте возьмем примеры из реальной жизни:

Примеры, где важнее вспомнить: Медицинское обследование (например, обнаружение рака). Это классический пример, когда важнее вспомнить. Можно классифицировать здорового человека как больного раком (ложноположительный результат) и провести дополнительные медицинские тесты, но определенно нельзя пропустить выявление больного раком или классифицировать больного раком как здорового (ложноотрицательный результат) с момента его жизни. на кону. Другие примеры: Пометка мошеннических транзакций, Обнаружение изображений, небезопасных для работы (NSFW) и т. д.

Теперь, чтобы решить такие проблемы, нам определенно потребуется High Recall.

Примеры, когда точность важнее: Уголовная смертная казнь. Здесь важнее точность. Упустить возможность наказать преступника — это нормально (низкий отзыв), но уличать невиновного человека (ложное срабатывание) нежелательно. Другими примерами могут быть обнаружение спама в электронной почте, выявление хороших клиентов для банковского кредита и т. д.

Теперь, чтобы решить такие проблемы, нам потребуется высокая точность.