Прогнозные модели также страдают от изменений, которые происходят с течением времени, и очень важно решать проблемы ухудшения качества модели при ее производственной реализации
Введение:
Изменения неизбежны, и ваша прогностическая модель не является исключением 😊 Когда производительность вашей модели со временем ухудшается, это называется дрейфом модели или распадом модели. В целом существует два типа дрейфа модели.
1. Дрейф концепции
2. Дрейф данных
Движение концепции:
Когда прогностическая способность модели со временем ухудшается с тем же набором функций/меток, это случай дрейфа концепции. Возьмем классическую задачу машинного обучения прогнозирования цен на жилье, где нам нужно предсказать цену дома на основе определенного набора признаков. Если вы построили модель с данными за 2019 год и пытаетесь предсказать цены на жилье в 2020 году, ваши результаты будут лучше. Если та же модель используется для прогнозирования цен на жилье в 2021 году, очень высока вероятность того, что ваша модель не будет столь же хороша, как в 2020 году.
Дрейф данных:
В модель вводится новый набор меток, тогда этот тип дрейфа называется дрейфом данных. В классификации кошек и собак, если вводится новый класс коров, то он подпадает под дрейф данных по мере введения нового ярлыка. Для проблемы регрессии границы вашего прогноза могут измениться. Продажи определенного продукта подскочили и больше не следуют шаблону, изученному моделью, в случае дрейфа данных.
Есть шанс, что концепция и дрейф данных существуют вместе!!!
Способы определения дрейфа модели
В случае дрейфа концепции используемая метрика оценки поможет вам понять, является ли модель стабильной или дрейфующей. Например, если мы моделируем прогнозы с точностью 98%, пока вы строите модель, и когда вы тестируете ту же модель через год, точность может упасть до 90%. Дрейф данных становится очевидным по мере введения новых классов.
Устранение дрейфа модели
Существует несколько способов устранения дрейфа модели.
Сначала давайте посмотрим, как бороться с дрейфом данных. Мы можем использовать переобучение модели с новым набором меток. Это похоже на переобучение с нуля и требует много времени. Это помогает разместить новый набор меток
Дрейф концепции можно устранить с помощью следующих методов:
1. Со временем переоборудуйте модель
2. Больше веса последним данным
3. Обновление модели
4. Модели ансамбля
Давайте углубимся в каждый из методов, предложенных выше для дрейфа концепций.
1. Подгонка модели с течением времени. Модели можно периодически обучать с использованием нового набора данных, чтобы устранить отклонения концепций. Одним из примеров является планирование заданий для обучения модели и ее развертывания в начале каждого месяца.
2. Больший вес последним данным. Придание большего веса последним данным поможет устранить дрейф концепций. Но его применение ограничено моделью, в которой используются веса/коэффициенты. В НЛП существует концепция, согласно которой больший вес придается последним словам, наблюдаемым в абзаце, а не словам, которые находятся дальше (https://arxiv.org/abs/1706.03762).
3. Обновление модели: вместо того, чтобы полностью переделывать модель, мы можем использовать предыдущую модель в качестве отправной точки для обучения модели с новыми данными. В scikit Learn есть такой параметр, как теплый старт, который поможет вам достичь этого. В случае нейронных сетей вы можете использовать предыдущий вес в качестве отправной точки для переобучения модели (перенос обучения).
4. Ансамблевые модели: в случае ансамблевых моделей предыдущая модель остается неизменной. Новая модель обучается с новым набором данных на основе выходных данных предыдущей модели. По сути, новая модель будет понимать взаимосвязь между недавними изменениями, наблюдаемыми по отношению к старой модели.
Сводка
В этой статье мы рассмотрели, что такое дрейф модели, и его широкую классификацию. Кроме того, мы обсудили, как обращаться с различными методами, применяемыми для устранения дрейфа модели.
