В модели машинного обучения не важно просто предсказать правильную метку. Получение вероятности метки класса имеет такое же значение, что обеспечивает «уверенность» в предсказаниях модели.

Таким образом, хорошо откалиброванный классификатор можно определить как класс, отражающий достоверность прогнозов модели.

Например:

Хорошо откалиброванный (двоичный) классификатор должен классифицировать образцы таким образом, чтобы среди образцов, которым он дал значение predict_proba, близкое к 0,8, примерно 80% действительно принадлежали к положительному классу. .

Следующее изображение, извлеченное из документации sklearn, дает глубокое представление о калибровке вероятностных прогнозов различных моделей машинного обучения.

Кривые надежности (диаграммы надежности)

Положение точек или кривой относительно диагонали может помочь в интерпретации вероятностей; Например:

  • Ниже диагонали: прогноз модели завышен; вероятности слишком велики.
  • Выше диагонали: модель занижает прогноз; вероятности слишком малы.

Различные классификаторы

Модель логистической регрессии обеспечивает хорошо выверенные прогнозы, поскольку она оптимизирует логарифмическую потерю, в то время как другие модели возвращают смещенные вероятности. Обратите внимание, что синяя кривая проходит рядом с черной пунктирной кривой, что указывает на идеально откалиброванную модель.

Наивный байесовский методобычно сдвигает вероятности к 0 или 1. Почему? Потому что предполагается, что функции независимы для данного класса, но обычно этого не происходит, поскольку функции зависят в наборе данных. Вот почему значения на гистограммах высоки в районе 0 и 1.

Классификатор случайного леса показывает поведение, полностью противоположное Наивному Байесу. Он колеблется от 0,2 до 0,9, тогда как вероятности 0 и 1 встречаются редко.

Классификация линейных опорных векторов показывает еще более сигмовидную кривую, которая характерна для методов с максимальным запасом. Почему? Они фокусируются на жестких выборках, близких к границе решения (векторы поддержки).

Прежде чем уйти,

Если вам понравился этот пост, не забудьте подписаться на страницу NLP Gurukool и посетить публикацию, чтобы узнать о других интересных руководствах и блогах по машинному обучению, науке о данных и NLP.

Пожалуйста, свяжитесь с нами, если вы хотите внести свой вклад в нашу публикацию.