Предпосылки: Итоговый документ по калибровке вероятностей: http://www.cs.cornell.edu/~caruana/niculescu.scldbst.crc.rev4.pdf
Деревья решений с усилением обычно обеспечивают хорошую точность, точность и область ROC. Однако, поскольку выходные данные повышения не являются хорошо откалиброванными апостериорными вероятностями, повышение дает плохой квадрат ошибки и перекрестной энтропии. Он имеет тенденцию предсказывать вероятности консервативно, то есть ближе к среднему диапазону, чем к крайностям. Вот эффект повышения прогнозируемой вероятности:
Хорошо откалиброванные классификаторы - это вероятностные классификаторы, для которых выходные данные модели могут быть напрямую интерпретированы как уровень достоверности. Например, хорошо откалиброванный (бинарный) классификатор должен классифицировать образцы таким образом, чтобы среди образцов, для которых он дал прогнозное значение, близкое к 0,8, примерно 80% фактически принадлежали к положительному классу . На следующем графике сравнивается, насколько хорошо откалиброваны вероятностные прогнозы различных классификаторов:
LogisticRegression по умолчанию возвращает хорошо откалиброванные прогнозы, так как напрямую оптимизирует потери журнала. Напротив, другие методы возвращают предвзятые вероятности; с разными предубеждениями.
Два подхода к выполнению калибровки вероятностных прогнозов: параметрический подход, основанный на сигмовидной модели Платта, и непараметрический подход, основанный на изотонической регрессии. Калибровка вероятности должна выполняться с использованием данных испытаний / валидации, которые не используются для подгонки модели.
Масштаб Платта:
Масштабирование Платта сводится к обучению модели логистической регрессии на выходных данных классификатора.
По сути, вы создаете новый набор данных, который имеет те же метки, но с одним измерением (выход вероятности некалиброванного классификатора. Затем вы тренируетесь на этом новом наборе данных и вводите выходные данные вероятности некалиброванного классификатора в качестве входных данных для этой калибровки. , который возвращает откалиброванную вероятность.В случае Платта мы, по сути, просто выполняем логистическую регрессию на выходе вероятности некалиброванного классификатора относительно истинных меток классов.
Ваша модель логистической регрессии - f (x) = y. y - истинная метка входных данных, а x - прогнозируемая вероятность вашего базового классификатора. Теперь вы используете прогнозируемую вероятность от логистической регрессии в качестве истинной вероятности от откалиброванного классификатора.
Изотоническая регрессия:
Идея состоит в том, чтобы подобрать кусочно-постоянную неубывающую функцию вместо логистической регрессии. Кусочно-постоянная неубывающая означает ступенчатую. Реализовано с помощью алгоритма Pool смежных нарушителей (PAVA). PAVA - это алгоритм с линейным временем (и линейной памятью) для изотонической регрессии с линейным упорядочением.
То, как вы тренируете изотоническую регрессию, похоже:
f (x) = y, y - истинная метка входных данных, а x - прогнозируемая вероятность вашего базового классификатора. Изотоническая модель будет сортировать данные по x (прогнозируемая вероятность вашего базового классификатора), а затем подбирать ступенчатую функцию, чтобы дать вероятность истинной метки.
Другие источники:
Http://fastml.com/classifier-calibration-with-platts-scaling-and-isotonic-regression/
