Как измерить производительность ваших моделей машинного обучения: точность, полнота, точность и F1…

Модели машинного обучения широко используются в различных областях, и их оценка производительности необходима для обеспечения того, чтобы модель работала должным образом. Оценка производительности моделей машинного обучения помогает в процессе разработки надежных и точных прогностических моделей.

Такие метрики, как точность, полнота, точность и оценка F1, широко используются для оценки эффективности моделей классификации. Хотя все они являются показателями производительности модели, они имеют разные значения и варианты использования.

Понимание этих показателей имеет решающее значение для выбора правильной модели для вашего приложения, тонкой настройки модели и сравнения производительности различных моделей. В этом руководстве объясняются концепции этих показателей, как их вычислять и когда их использовать.

Какова точность модели ML

Введение — точность

В машинном обучении оценка точности прогнозов модели имеет решающее значение для обеспечения ее эффективности. Показатели производительности, такие как точность, позволяют измерить точность положительных прогнозов модели, что может помочь определить области для улучшения и оптимизировать модель для конкретных случаев использования.

Определение

Точность — это показатель производительности, используемый в моделях машинного обучения для измерения точности положительных прогнозов. Он представляет собой долю истинно положительных прогнозов от всех положительных прогнозов, сделанных моделью.

Расчет

Чтобы рассчитать точность, разделите количество истинных положительных прогнозов на сумму истинных положительных и ложных положительных прогнозов:

Precision = True Positives / (True Positives + False Positives)

Например, рассмотрим модель машинного обучения, которая определяет, является ли электронное письмо спамом или нет. После тестирования модели на наборе данных из 100 электронных писем мы получаем следующие результаты:

• Настоящие срабатывания: 20 писем правильно идентифицированы как спам.
• Ложные срабатывания: 5 писем ошибочно идентифицированы как спам.
• Ложноотрицательные результаты: 15 писем, которые на самом деле являются спамом, не идентифицированы как таковые.
• Настоящие минусы: 60 писем правильно идентифицированы как не спам.

Используя приведенную выше формулу, мы можем рассчитать точность модели как:

Precision = 20 / (20 + 5)

Precision = 0.8 or 80%

Это означает, что из всех электронных писем, предсказанных моделью как спам, 80% действительно были спамом.

Высокое значение точности указывает на то, что модель делает несколько ложноположительных прогнозов, а это означает, что когда модель прогнозирует электронное письмо как спам, оно, скорее всего, будет правильным. И наоборот, низкое значение точности указывает на то, что модель делает большое количество ложноположительных прогнозов, а это означает, что когда модель прогнозирует электронное письмо как спам, оно с большей вероятностью будет неверным.

Завершение точности

Точность является критическим показателем в сценариях, где ложноположительные прогнозы имеют серьезные последствия. Например, в медицинской диагностике ложноположительный диагноз может привести к ненужному лечению или нанести вред пациенту. Однако точность не следует использовать изолированно для оценки производительности модели машинного обучения.

Другие показатели, такие как отзыв, точность и оценка F1, также следует использовать, чтобы получить всестороннее представление о производительности модели. Выбор метрик зависит от конкретной решаемой задачи и характера данных.

Что такое отзыв модели ML

Введение — Напомним

Отзыв — это показатель производительности, используемый в моделях машинного обучения для измерения способности модели правильно идентифицировать все положительные образцы из общего числа положительных образцов, присутствующих в наборе данных.

Определение отзыва

Отзыв — это показатель, используемый для оценки производительности модели машинного обучения с точки зрения ее способности идентифицировать все соответствующие экземпляры в наборе данных. Он измеряет долю истинно положительных образцов, правильно идентифицированных моделью, среди всех положительных образцов в наборе данных.

Расчеты

Математически отзыв рассчитывается как количество истинных положительных результатов, деленное на сумму истинных положительных и ложных отрицательных результатов:

Recall = True Positives / (True Positives + False Negatives)

Например, если у нас есть 100 положительных случаев в нашем наборе данных, и наша модель правильно идентифицирует 80 из них, то количество истинных положительных результатов равно 80. Если модель не может идентифицировать оставшиеся 20 положительных случаев, то количество ложноотрицательных результатов равно 20. Используя формулу отзыва, получаем:

Recall = 80 / (80 + 20) = 0.8 or 80%

Это означает, что наша модель правильно определила 80% положительных случаев в наборе данных и пропустила 20%.

Важность отзыва

Высокое значение полноты указывает на то, что модель правильно идентифицирует большую часть соответствующих выборок в наборе данных. Отзыв является важным показателем в приложениях, где важно идентифицировать как можно больше положительных образцов.

Например, в медицинской диагностике крайне важно выявить все случаи заболевания, даже если это означает несколько ложных срабатываний. Точно так же при обнаружении мошенничества важно идентифицировать как можно больше мошеннических транзакций, даже если это означает генерацию ложных сигналов тревоги.

Ограничения отзыва

Важно отметить, что отзыв не следует использовать изолированно для оценки производительности модели машинного обучения. Это связано с тем, что высокий отзыв может быть достигнут путем классификации всех случаев как положительных, что в большинстве случаев не идеально. Поэтому отзыв следует использовать в сочетании с другими показателями, такими как точность, правильность и оценка F1, чтобы получить всестороннее представление о производительности модели. Кроме того, выбор метрик зависит от конкретной решаемой задачи и характера данных.

Завершение отзыва

Полнота — это критический показатель в сценариях, где важно идентифицировать все релевантные экземпляры в наборе данных. Понимание концепции отзыва, того, как он рассчитывается, и его важности для оценки производительности модели машинного обучения имеет важное значение для создания эффективных систем машинного обучения.

Какова точность модели ML

Введение — Точность

Точность — одна из наиболее распространенных метрик, используемых для оценки производительности модели машинного обучения. Он измеряет долю правильных прогнозов, сделанных моделью, из всех сделанных прогнозов. Другими словами, это отношение количества правильных прогнозов к общему количеству сделанных прогнозов.

Что такое точность в машинном обучении?

Точность — это статистическая мера того, насколько хорошо модель бинарной классификации может правильно идентифицировать метки классов данного набора данных. Двоичная классификация — это тип задачи классификации, целью которой является предсказание одного из двух возможных результатов (например, спам или не спам, мошенничество или не мошенничество).

Оценка точности рассчитывается как отношение общего количества правильных прогнозов к общему количеству сделанных прогнозов. Идеальный классификатор будет иметь точность 1, а необученная модель будет иметь точность, близкую к 0,5 (вероятность правильного угадывания 50%).

Математически точность можно выразить как

Accuracy = (Number of Correct Predictions) / (Total Number of Samples)

Accuracy = (TP + TN) / (TP + TN + FP + FN)

Где:

TP (True Positive) — количество правильно предсказанных положительных образцов.

TN (True Negative) — количество правильно предсказанных отрицательных образцов.

FP (ложноположительный результат) — это количество ошибочно предсказанных положительных образцов, и

FN (False Negative) — количество ошибочно предсказанных отрицательных результатов.

Почему важна точность?

Точность — очень важный показатель для моделей машинного обучения, особенно в задачах бинарной классификации. Это помогает измерить способность модели делать правильные прогнозы и, следовательно, дает представление об общей производительности модели.

Однако точность не следует использовать изолированно для оценки производительности модели, поскольку она имеет несколько ограничений.

Примеры точности в машинном обучении

Чтобы лучше понять точность, давайте рассмотрим несколько примеров:

Пример 1: Классификатор спама по электронной почте

Предположим, вы создали классификатор спама в электронной почте, который предсказывает, является ли электронное письмо спамом или нет. Вы протестировали модель на 100 электронных письмах, и она правильно классифицировала 80 писем как не спам и 10 писем как спам. Однако он также ошибочно классифицировал 5 не спамовых писем как спам и 5 спамовых писем как не спам. В этом случае точность модели можно рассчитать следующим образом:

Accuracy = (80 + 10) / (80 + 10 + 5 + 5) = 0.9

Таким образом, точность классификатора спама электронной почты составляет 90%.

Пример 2: Обнаружение мошенничества с кредитными картами

Предположим, вы создали модель машинного обучения, которая предсказывает, является ли транзакция по кредитной карте мошеннической или нет. Вы протестировали модель на наборе данных из 1000 транзакций, из которых 950 — настоящие, а 50 — мошеннические. Модель правильно предсказывает 900 подлинных транзакций и 45 мошеннических транзакций. Однако он также ошибочно определяет 25 подлинных транзакций как мошеннические и 30 мошеннических транзакций как подлинные. В этом случае точность модели можно рассчитать следующим образом:

Accuracy = (900 + 45) / (900 + 45 + 25 + 30) = 0.945

Таким образом, точность модели обнаружения мошенничества с кредитными картами составляет 94,5%.

Ограничения точности

Точность может вводить в заблуждение в некоторых случаях, что делает ее менее чем идеальной метрикой для оценки производительности модели. Вот некоторые из ограничений точности:

Несбалансированные наборы данных

Когда один класс встречается намного чаще, чем другой, говорят, что набор данных несбалансирован. В таких случаях модель может достичь высокой точности, просто предсказав мажоритарный класс для всех выборок.

Например, в наборе данных, где 95 % выборок относятся к отрицательному классу и только 5 % относятся к положительному классу, модель, предсказывающая все выборки как отрицательные, достигнет точности 95 %. В таких случаях другие показатели, такие как точность, полнота и оценка F1, могут дать лучшее представление о производительности модели.

Классификация с учетом затрат

В некоторых случаях стоимость ложноположительного результата (прогноз о том, что образец принадлежит к определенному классу, когда он не принадлежит) отличается от стоимости ложноотрицательного результата (прогноз о том, что образец не принадлежит к определенному классу, когда он не принадлежит). делает).

Например, в медицинской диагностике стоимость ложноотрицательного результата (пропущенного диагноза) может быть намного выше, чем стоимость ложноположительного результата (неверного диагноза). В таких случаях модель следует оптимизировать для других показателей, таких как чувствительность и специфичность, которые учитывают относительную стоимость ложноположительных и ложноотрицательных результатов.

Ошибки ярлыка

На точность модели может повлиять наличие ошибок в метках обучающих данных. Если обучающие данные содержат неправильно маркированные образцы, модель может изучить неправильные шаблоны, что приведет к снижению производительности на невидимых данных. Чтобы смягчить это, важно тщательно очистить и проверить данные обучения.

Ограниченный объем оценки

Точность измеряет, насколько хорошо модель работает на образцах, на которых она обучалась и оценивалась. Это не обязательно отражает, насколько хорошо модель будет работать с новыми, невидимыми данными. Поэтому важно использовать такие методы, как перекрестная проверка, чтобы получить более точную оценку производительности модели.

Точность обмотки

Точность — это широко используемый показатель для оценки производительности моделей машинного обучения, но он имеет свои ограничения. Важно помнить об этих ограничениях при использовании точности для оценки производительности модели. В дополнение к точности рекомендуется использовать другие показатели оценки, чтобы получить более полное представление о производительности модели.

Какова оценка F1 модели машинного обучения?

Введение

Оценка F1 — важный показатель для оценки производительности моделей машинного обучения, особенно в задачах бинарной классификации. В этом руководстве мы углубимся в оценку F1, включая ее расчет и значение для оценки модели.

Что такое счет F1

F1-оценка — это среднее гармоническое точности и полноты, где точность — это доля истинно положительных результатов от всех положительных прогнозов, сделанных моделью, а полнота — это доля истинно положительных результатов от всех фактических положительных выборок в наборе данных. F1-score объединяет точность и полноту в единую метрику, обеспечивая более полную оценку производительности модели.

Почему F1 Score важен?

Оценка F1 является важной метрикой, поскольку она учитывает как точность, так и полноту, обеспечивая более сбалансированную оценку производительности модели, особенно в несбалансированных наборах данных, где количество положительных и отрицательных выборок не равно. Хотя точность является широко используемой метрикой, она может не обеспечивать точную оценку производительности модели в таких сценариях.

Как рассчитывается оценка F1?

Оценка F1 рассчитывается как гармоническое среднее точности и полноты, что придает больший вес более низким значениям. Математическая формула для расчета F1-счета:

F1-score = 2 (precision recall) / (precision + recall)

Чтобы проиллюстрировать, как вычисляется показатель F1, рассмотрим задачу бинарной классификации, в которой модель предсказывает, является ли электронное письмо спамом или нет. Матрица путаницы для модели выглядит следующим образом:

                     Actual Positive   Actual Negative
_________________________________________________________
Predicted Positive   50                 20
_________________________________________________________
Predicted Negative   10                 70 

Значения точности и полноты для модели можно рассчитать следующим образом:

Precision = 50 / (50 + 20) = 0.71

Recall = 50 / (50 + 10) = 0.83

Используя формулу для оценки F1, мы можем рассчитать оценку F1 для модели следующим образом:

F1-score = 2 (0.71 0.83) / (0.71 + 0.83) = 0.76

Интерпретация счета F1

Значения оценки F1 варьируются от 0 до 1, где 1 указывает на идеальную точность и полноту, а 0 указывает на плохую производительность. Высокий балл F1 указывает на то, что модель делает точные прогнозы с высокой точностью и полнотой. Низкий показатель F1 указывает на то, что модель не дает точных прогнозов либо из-за низкой точности, либо из-за низкой полноты, либо из-за того и другого.

При интерпретации оценки F1 важно помнить о конкретной решаемой проблеме и характере данных. Например, в сценарии, где ложные срабатывания обходятся дороже, чем ложноотрицательные, следует уделять больше внимания точности, чем отзыву. С другой стороны, в сценарии, где ложноотрицательные результаты обходятся дороже, чем ложноположительные, следует уделять больше внимания отзыву, чем точности.

Также важно отметить, что показатель F1 не следует использовать изолированно для оценки производительности модели машинного обучения. Его следует использовать в сочетании с другими показателями, такими как точность, достоверность и полнота, чтобы получить полное представление о производительности модели.

Чтобы проиллюстрировать использование оценки F1, давайте рассмотрим пример задачи бинарной классификации, в которой мы хотим предсказать, купит ли клиент продукт, исходя из его возраста и дохода. Допустим, у нас есть набор данных из 1000 клиентов, из которых 800 действительно покупают продукт, а 200 — нет. Мы обучаем модель машинного обучения на этих данных и получаем следующую матрицу путаницы:

                    Predicted: No   Predicted: Yes
_________________________________________________________
Actual: No          120              80
_________________________________________________________
Actual: Yes         40               760

Используя формулу для F1-оценки, мы можем рассчитать F1-оценку этой модели следующим образом:

Precision = 760 / (760 + 80) = 0.905

Recall = 760 / (760 + 40) = 0.950

F1-score = 2 (Precision Recall) / (Precision + Recall) = 0.927

Это означает, что модель имеет высокий балл F1, что указывает на то, что она делает точные прогнозы с высокой точностью и полнотой. Однако мы также должны смотреть на другие показатели, такие как точность, и учитывать конкретную решаемую проблему, чтобы получить полное представление о производительности модели.

Важно отметить, что, хотя показатель F1 является полезным показателем для оценки производительности моделей машинного обучения, он имеет некоторые ограничения.

Например, оценка F1 предполагает, что и точность, и полнота одинаково важны, что может быть не всегда так. В некоторых сценариях точность может быть важнее, чем полнота, и наоборот. Поэтому важно учитывать конкретную решаемую проблему и характер данных при оценке производительности модели машинного обучения.

Кроме того, оценка F1 применима только к задачам бинарной классификации. Для задач классификации с несколькими классами могут использоваться альтернативные показатели, такие как макро-оценка F1 или микро-оценка F1.

Подведение итогов F1

Оценка F1 — полезная метрика для оценки производительности моделей машинного обучения в задачах бинарной классификации. Он обеспечивает более полную оценку производительности модели, учитывая как точность, так и полноту. Однако его следует использовать в сочетании с другими показателями и интерпретировать в контексте конкретной решаемой проблемы и характера данных.

Заключение

Понимание метрик для оценки моделей машинного обучения имеет важное значение для любого специалиста по обработке и анализу данных или специалиста по машинному обучению. Точность, полнота, точность и оценка F1 — это часто используемые метрики, которые могут помочь вам оценить производительность вашей модели и определить области для улучшения.

У каждой метрики есть свои сильные и слабые стороны, и вам следует выбирать соответствующую метрику в зависимости от проблемы, которую вы пытаетесь решить. Помните, что хорошая модель не только точна, но и точна, а также имеет высокий отзыв. Тщательно анализируя и интерпретируя эти показатели, вы можете точно настроить модель машинного обучения и обеспечить ее оптимальную работу с реальными данными.

Благодаря информации, полученной в этом руководстве, вы теперь лучше подготовлены для оценки своих моделей машинного обучения и принятия обоснованных решений, которые помогут вам создавать более качественные модели.

Привет👋! Если вы нашли этот урок полезным, не стесняйтесь выразить свою признательность, похлопав в ладоши! Помните, что вы можете хлопать несколько раз, если вам это действительно понравилось.

Если вам интересно узнать больше о Python, подписывайтесь на меня, RS Punia, на Medium. Как страстный программист с любовью к компьютерному зрению, искусственному интеллекту и машинному обучению, я всегда ищу новые задачи в области кодирования и делюсь своими знаниями с другими. Следуйте за мной сейчас, и давайте продолжать учиться и расти вместе!