В большинстве случаев ответы на бизнес-задачи имеют 2 и более вариантов. Если цель состоит не в том, чтобы найти числовой вывод; вероятно, вам придется иметь дело с моделью классификации.

Вы только что настроили свою модель классификации и сделали прогноз на проверочном наборе. Следующим шагом будет измерение соответствия вашей модели реальной жизни. Точность, прецизионность, полнота, показатель F1, AUC-ROC, логарифмическая потеря — это общие показатели для измерения правильности модели классификации. Вы можете найти много подробностей об этих метрикахв Интернете или в ChatGPT, но моя цель написать эту статью — выяснить, какая метрика соответствует вашей модели классификации.

Несмотря на то, что я сказал, что много информации о метриках можно найти в Интернете, следует подчеркнуть некоторые важные концепции. Так; если ваша модель предсказывает событие как «положительное» и если оно действительно является «положительным», то оно классифицируется как TP (истинно положительное). Например; если вы прогнозируете, что клиент купит особый продукт, и если он действительно купит, то это будет оценено как «Истинно положительный». Остальные 3 случая показаны в других 3 квадрантах.

Что касается показателей; «точность» – это отношение всех истинно положительных и истинно отрицательных комбинированных случаев к сумме всех случаев. «точность» — это отношение истинных положительных результатов к числу истинных положительных и ложных положительных результатов вместе взятых. "отзыв" — это отношение истинно положительных случаев к истинно положительным и ложноотрицательным случаям вместе. Наконец, оценка F1 – это среднее гармоническое точности и полноты.

Если вы новичок в аналитических случаях, или если у вас есть более широкое представление об оценке вашей модели классификации, или если вы хотите использовать общую метрику для измерения уровня правильности вашей модели прогнозирования; просто используйте точность, F1-оценку, ROC-AUC или logloss. Но если ваша бизнес-проблема требует нишевого/конкретного решения, вы можете выбрать одно из точности или отзыва.

Чтобы привести пример; если вы хотите предсказать электростанции, которые неправомерно получают выгоду от услуг, и если у вас есть ограниченное количество сотрудников для проверки этих ненадлежащих видов использования, то вам определенно следует улучшить показатель "точность" в вашей модели классификации. В этом случае ваша мотивация состоит в том, чтобы не посещать электростанции, которые правильно используют услуги, соблюдая правила (Ложные срабатывания). В другом случае, если компания будет применять кампанию скидок для продукта, чтобы перенаправить клиента к другой цели со значительными затратами, снова важна «точность»: любой клиент, который использует только скидку и не не перенаправлять этот конкретный случай (ложные срабатывания) — это просто бремя для компании.

С другой стороны, есть много бизнес-кейсов, в которых "отзыв" является важным показателем оценки. Например, компания является колл-центром, работает на банк и имеет так называемые «неограниченные ресурсы сотрудников и связи» и хочет догнать всех людей, которые могут «поднять кредит». В этом случае вам снова нужно обратиться к людям, которые «возьмут кредит» (Настоящие положительные результаты). Кроме того, дозвониться до людей, которые не хотят «брать кредит» (Ложные срабатывания), не составляет большой проблемы. Однако, если есть клиенты, у которых есть высокая вероятность получить кредит, а вы не звоните (Ложноотрицательные результаты), это настоящая проблема. Другой пример касается моделей обнаружения заболеваний. Предосторожность является желательной ситуацией при проблемах со здоровьем; поэтому прогноз здорового человека с этим заболеванием (Ложные срабатывания) не приведет к серьезной проблеме. Но если вы не смогли предсказать и связаться с человеком с болезнью на более ранних этапах (ложноотрицательные результаты), это может привести к летальному исходу для него.

Таким образом, в моделях классификации можно использовать множество показателей оценки; тем не менее, некоторые из них могут быть более предпочтительными с точки зрения экономического обоснования.