Создавая модель с аппетитом к риску, не пропустите этот шаг!
Привет, ребята, Тапан! Я вернулся с блогом о Калибровке вероятностей. Если вы никогда не слышали об этом или у вас есть представление об этом, этот блог определенно может дать вам более простые, но информативные подробности по этой теме. Итак, давайте начнем.
Введение в калибровку вероятности
Термин «калибровка вероятности» описывает, насколько точно модель машинного обучения предсказывает вероятности. Он оценивает, насколько близко предсказанные вероятности соответствуют результатам. просто р8!
Рассмотрим модель, которая показывает вероятность того, что событие произойдет, например, вероятность того, что завтра пойдет дождь. Правильно откалиброванная модель предсказывает завтрашний дождь с вероятностью 0,8, но на самом деле дождь идет в 80% случаев. С другой стороны, неоткалиброванная модель может прогнозировать вероятность дождя завтра с вероятностью 0,8, но на самом деле это происходит только в 30% случаев. модель машинного обучения соответствует результатам реальных экспериментов. Прогнозы правильно откалиброванной модели более точны и заслуживают доверия.
Говоря простым языком, вы можете выразить это как правдивость модели.
Проблема некалиброванных вероятностей
Некалиброванные вероятности описывают ситуацию, в которой предсказания вероятностей модели машинного обучения неточно отражают фактические вероятности событий, которые они проецируют. Это может привести к следующим проблемам:
Чрезмерная уверенность: модель может делать прогнозы с чрезмерно высокой вероятностью, что является признаком того, что она слишком самоуверенна в этих прогнозах. Это может привести к тому, что решения, основанные на прогнозах, будут приняты неправильно.
Недостаточная уверенность: модель может делать прогнозы со слишком низкой вероятностью, что свидетельствует об отсутствии уверенности в этих прогнозах. Это может привести к упущенным возможностям или неправильному выбору.
Неточная оценка рисков: прогнозы модели могут неточно отражать риски, связанные с различными событиями, что может привести к неточным оценкам рисков и плохо информированному выбору.
Несогласованность производительности. В зависимости от конкретных данных, которые использует модель, производительность может значительно различаться.
Смещение: если обучающие данные смещены, некалиброванные вероятности могут давать смещенные прогнозы. Это может привести к дискриминации и несправедливым результатам.
Показатели калибровки
Прогнозы вероятностей модели машинного обучения оцениваются с использованием показателей калибровки вероятности. Вот несколько часто используемых вероятностных калибровочных показателей:
Калибровочная кривая сравнивает наблюдаемые проценты успешных результатов с обычно прогнозируемыми вероятностями для каждого бина. Калибровочная кривая хорошо откалиброванной модели будет относительно близка к линии идеальной калибровки, которая представляет собой идеальную ситуацию, когда предсказанные вероятности точно соответствуют наблюдаемым результатам. Оценка Брайера — это измерение среднеквадратичной ошибки между предсказанными вероятностями и фактическими результатами. На лучшую калибровку указывает более низкая оценка Брайера.
Диаграмма надежности: распределение прогнозируемых вероятностей визуально изображается диаграммой надежности, которая представляет собой калибровочную кривую.
Логарифмическая потеря: Мера среднего отрицательного логарифмического правдоподобия предсказанных вероятностей называется логарифмической потерей. В задачах мультиклассовой классификации, где прогнозируемые вероятности должны находиться в диапазоне от 0 до 1, это часто используемая метрика.
Кривая AUC: общая эффективность модели бинарной классификации измеряется AUC-ROC, который не учитывает калибровку вероятностей.
Ожидаемая ошибка калибровки: ECE — это измерение несоответствия между наблюдаемыми частотами для каждого бина и средними прогнозируемыми вероятностями. Он предлагает скалярное значение, которое представляет общую величину ошибки калибровки.
Методы улучшения калибровки
Калибровка модели машинного обучения может быть улучшена с помощью различных методов, в том числе:
Приспосабливая модель логистической регрессии к ожидаемым вероятностям и фактическим результатам, Platt Scaling представляет собой метод постобработки, который изменяет предсказанные модели вероятности.
Изотоническая регрессия — это непараметрический метод калибровки прогнозируемых вероятностей, который изменяет прогнозы, чтобы сделать их монотонными по отношению к фактическим результатам.
При температурном масштабировании, которое представляет собой простой метод постобработки для нейронных сетей, прогнозируемые вероятности изменяются путем их умножения на температурный гиперпараметр.
Методы ансамбля. Путем объединения прогнозов различных базовых моделей можно использовать методы ансамбля, такие как бэггинг и бустинг, для улучшения калибровки модели.
Повторная выборка: распределения классов в обучающих данных можно сбалансировать с помощью методов повторной выборки, таких как избыточная и недостаточная выборка, для улучшения калибровки модели.
Перекрестная проверка: этот метод делит данные на несколько сгибов, обучает модель на каждом сгибе, а затем оценивает производительность модели на каждом сгибе. Стабильность и надежность прогнозов модели можно оценить с помощью перекрестной проверки.
Регуляризация: чтобы избежать переобучения и улучшить обобщение модели, что может привести к улучшенной калибровке, можно использовать методы регуляризации, такие как регуляризация L1 и L2.
Пример калибровки вероятности на практике
Везде, где фактор риска связан с моделью, необходима калибровка вероятности.
Область медицинской диагностики служит практической иллюстрацией калибровки вероятностей.
Основываясь на симптомах пациента, истории болезни и результатах тестов, модель машинного обучения может быть обучена прогнозировать вероятность наличия у пациента определенного заболевания. Затем врач может использовать предсказанные вероятности, чтобы поставить диагноз и выбрать наилучший курс лечения для пациента. Крайне важно откалибровать модель таким образом, чтобы прогнозируемые вероятности точно отражали вероятность того, что у пациента будет заболевание, чтобы гарантировать надежность этих вероятностей. Это может быть достигнуто путем оценки калибровки модели с использованием показателей калибровки вероятности, таких как показатель Брайера или калибровочная кривая.
Есть и другие примеры, например, в финтех-индустрии, где модель идентифицирует участника или транзакцию как мошенническую, что может быть полезно, или в розничной торговле, где модель прогнозирует отток клиентов, может быть полезна калибровка.
Ограничения и проблемы
Калибровка вероятностей имеет ряд ограничений и трудностей:
Сложность модели: поскольку глубокие нейронные сети имеют множество параметров и нелинейные отношения между входными и выходными данными, сложные модели машинного обучения, подобные этим, могут быть сложными для калибровки.
Качество данных. На калибровку модели может существенно повлиять качество данных, используемых для обучения модели. Неоткалиброванная модель может быть создана на основе несбалансированных, зашумленных или отсутствующих значений данных.
Отсутствие наземной истины: может быть сложно получить точные и надежные метки наземной истины для данных во многих реальных приложениях. Из-за этого оценка калибровки модели и исправление любых ошибок калибровки могут быть сложными.
Переобучение: когда модель слишком точно соответствует обучающим данным, говорят, что она переоснащается. Это может привести к некалиброванной модели и плохой производительности обобщения.
Небольшой размер выборки. Небольшие размеры выборки могут привести к большой дисперсии прогнозов модели, что усложнит точное определение калибровки модели. Ограниченные метрики оценки: метрики оценки для оценки калибровки модели машинного обучения ограничены и могут не подходить для всех приложений.
Что теперь?
Будет создан еще один блог с реальными реализациями калибровки вероятности.
Если вам понравилась статья, не забудьте поставить лайк. Пожалуйста, следуйте за мной для получения дополнительных проектов и статей на моем Github и моем среднем профиле.
Давайте подключимся!
https://www.linkedin.com/in/tapankpatro/
Подпишитесь на DDIntel Здесь.
Посетите наш сайт здесь: https://www.datadriveninvestor.com
Присоединяйтесь к нашей сети здесь: https://datadriveninvestor.com/collaborate
