Точность - это ключевая мера, которую руководство рассматривает, прежде чем дать зеленый свет запуску модели в производство. В этой статье рассказывается о практических аспектах того, что измерять и как измерять.

Два важных момента, которые следует учитывать при измерении точности

  1. Данные для измерения точности не должны использоваться при обучении. Вы можете разделить свои данные на 80% и 20%. Используйте 80% для обучения и используйте остальные - 20% - для прогнозирования и сравнения прогнозируемого значения с фактическим результатом для определения точности.
  2. Один результат затмевает другой. Скажем, 95% ваших транзакций не являются мошенничеством. Если алгоритм отмечает, что каждая транзакция не является мошенничеством, это верно в 95% случаев. Таким образом, точность составляет 95%, но 5% ошибочности могут сломать банк. В этих сценариях нам нужно иметь дело с другими метриками, такими как чувствительность и специфичность и т. Д., Которые мы рассмотрим в этой статье на практике.

Определение проблемы

Цель этой прогнозной проблемы - определить, какие клиенты уйдут. В наборе данных 1000 строк. Используйте 80% выборки (800 строк) для обучения и 20% данных для измерения точности. (200 рядов). Скажем, мы обучили модель с 800 строками и сделали прогноз на 200 строках.

Отмечен фактический результат оттока

Чтобы наглядно объяснить эту проблему, скажем, по моим данным тестирования 25 клиентов.

Из этих 25 клиентов 15 не уйдут (зеленый цвет) и 10 уйдут (красный цвет). Таковы фактические результаты. Теперь давайте применим обученную модель, чтобы предсказать, кто уйдет.

Отмечен прогнозируемый результат оттока

Это прогнозируемые результаты. Алгоритм допустил ряд ошибок.

Некоторые из них он предсказал правильно, а некоторые - неверно. Например, он пометил некоторых клиентов, которые будут оттока, как не отталкивающих, а также пометил некоторых клиентов, которые не будут оттока, как тех, кто отойдет. Те, что предсказаны неправильно, помечаются знаком X.

Статистика результатов прогнозов

Чтобы упростить работу, я визуально разделил прогнозы внутри каждой группы, чтобы мы знали, что было предсказано правильно, а что нет.

  1. Он предсказал 8 клиентов, которые вернутся правильно. (Это называется истинно положительным)
  2. Он неверно предсказал, что 2 клиента уйдут как не уйдут. (Это называется ложноположительным)
  3. Он предсказал, что 11 клиентов не будут правильно уходить (это называется True Negative).
  4. Он неверно спрогнозировал 4 клиента, которые не уйдут из-за ухода. (Это называется ложноотрицательным)

Способ запомнить эти модные словечки: «Ложно-положительный результат неверно предсказывается как положительный (он же неверно предсказывается как отток), а ложно-отрицательный неправильно предсказывается как отрицательный (он же неправильно предсказывается, так как отток не будет»).

Интересующие меры точности

Обычно возникают следующие вопросы:

  1. Какая общая точность?
  2. Какой% клиентов, которые действительно откажутся, модель может отметить как отток?
  3. Какой% клиентов, которые на самом деле не будут оттока, модель может пометить как «Не отток»?
  4. Какой% клиентов предположил, что отток действительно ушел?
  5. Какой% клиентов предсказал, что не уйдет на самом деле?

1. Какова общая точность?

Всего правильно предсказано / Общее количество = (11 + 8) / 25 = 76%

2. Какой% клиентов, которые действительно откажутся, может пометить модель как «откажется?»

У нас 10 уволенных клиентов, и мы правильно спрогнозировали 8. Соотношение = 8/10 = 80%.

Это также называется степенью чувствительности или положительности или отзывом. Поскольку этот показатель не включает то, что было предсказано неправильно, этот показатель имеет тенденцию быть смещенным для несбалансированных классов.

Модель, которая на 100% чувствительна, идентифицирует всех оттесненных клиентов. Редко когда какая-либо модель будет чувствительна на 100%. Модель с чувствительностью 85% определит 85% оттока клиентов, но упустит 15% оттока клиентов. Высокочувствительная модель может быть полезна для исключения прогнозируемого клиента, который не уйдет. Логика такова, что он очень точно предугадывает, кто уйдет. Это означает, что если он говорит, что этот клиент не откажется от услуг, мы потенциально можем их исключить.

3. Какой% клиентов, которые на самом деле «не будут отталкиваться», может пометить модель как «не откажутся»?

У нас 15 клиентов, которые не оттолкнулись, и мы правильно спрогнозировали 11. Соотношение = 11/15 = 73,3%.

Это также называется специфичностью или истинно отрицательной оценкой. Поскольку этот показатель не включает то, что было предсказано неправильно, этот показатель имеет тенденцию быть смещенным для несбалансированных классов.

Модель со 100% -ной специфичностью идентифицирует всех клиентов, не потерявших клиентов. Редко когда какая-либо модель будет 100% -ной специфичностью. Модель со специфичностью 90% идентифицирует 90% клиентов, которые не отошли, но пропустит 10% клиентов, которые не отошли. Модель с высокой степенью специфичности может быть полезна для определения клиента, который уйдет. Логика такова, что он очень точно предсказывает, кто не откажется от ухода. Это означает, что если он говорит, что этот клиент откажется от услуг, он заслуживает большего доверия.

4. Какой% клиентов, по прогнозам, уйдут на самом деле?

У нас есть 12 клиентов, которые были предсказаны как оттесненные (все красные, включая X), и мы правильно предсказали 8 (красные без X). Соотношение = 8/12 = 67%

Это означает, что из 100 прогнозируемых клиентов оттока будут только 67, а остальные 33 не откажутся.

Это также называется точностью или положительным прогнозируемым значением.

5. Какой% клиентов, согласно прогнозам, не ушли, на самом деле не ушли?

У нас есть 13 клиентов (зеленые кружки, включая X), прогнозируемые как «не оттесненные», и мы правильно спрогнозировали 11 (зеленые без X). Соотношение = 11/13 = 85%

Это означает, что из 100 прогнозируемых клиентов не будут уходить, 85 из них не уйдут, а остальные 15 не уйдут.

Это также называется отрицательным прогнозируемым значением.

Краткое изложение мер в простой терминологии

  1. Модель уловит 80% клиентов, которые действительно уйдут.
  2. Модель привлечет 73% клиентов, которые фактически не откажутся от ухода.
  3. Общая точность 76%.
  4. Из тех клиентов, которые, согласно прогнозам, будут оттоки, 67% действительно оттянутся.
  5. По прогнозам, 73% клиентов не откажутся от оттока.

Нижняя линия

Это довольно приличная модель. Вы можете привлечь 80% клиентов, которые уйдут. Вам точно не хватает 20%. Из всех клиентов, которые, по прогнозам, уйдут, у вас есть 27%, которые ошибочно признаны потерянными. Если цель состоит в том, чтобы привлечь клиентов и поговорить с ними, чтобы предотвратить их отток, вполне нормально взаимодействовать с теми, кто ошибочно отмечен как «не оттесненные», поскольку это не вызывает каких-либо негативных проблем. Это потенциально может сделать их еще более счастливыми из-за дополнительной любви, которую они получают. Это та модель, которая может повысить ценность с первого дня. Обратите внимание, что важно распространять эту информацию среди нужной аудитории и позволять пользователям предпринимать действия, о которых мы расскажем в следующей статье.