Люди часто думают, что данную модель можно просто внедрить навсегда. На самом деле, верно обратное. Вам нужно обслуживать свои модели, как вы обслуживаете машину. Модели машинного обучения могут выходить из строя или ломаться со временем. Для вас это звучит странно, потому что у них нет движущихся частей? Что ж, возможно, вы захотите внимательно изучить изменения и отклонения в концепциях.
Изменение концепции
Начнем с примера. Если вы пытаетесь построить модель профилактического обслуживания для самолета, вы часто создаете столбцы, например
Error5_occured_last_5_mins
в качестве входных данных для вашей модели. Но что произойдет, если ошибка номер 5 больше не является ошибкой номер 5? Обновления программного обеспечения могут кардинально изменить ваши данные. Они устраняют известные проблемы, но также по-другому кодируют ваши данные. Если вы возьмете данные после обновления в качестве входных данных для вашей модели до обновления - они что-то сделают, но не то, что вы ожидали. Это явление называется сменой концепции.
Дрейф идей
Очень похожий феномен - дрейф представлений. Это происходит, если изменения не радикальные, а появляются медленно. Промышленный пример - инкрустация датчика. Это происходит со временем, и измеренные 100 градусов больше не 100 градусов. Примером в клиентской аналитике являются процессы принятия новых технологий. Люди не сразу стали пользоваться айфонами, но постепенно привыкли к ним. Столбец типа «HasAnIphone» означал бы очень технически подкованного человека - в 2007 году. Сегодня это означает среднего человека.
Что я могу сделать?
Распространенным подходом к преодолению дрейфа концепций является повторное обучение на основе окон. Представьте, что ваша модель построена на прошлогодних данных. Это окно перемещается со временем, и вы можете уловить смещение концепций. Хотя это звучит очень красиво, но сталкивается с практическими проблемами. Одна из проблем - ограничение обучающих данных. Чем меньше размер окна, тем меньше размер выборки.
Такой подход очень помогает, уменьшая проблемы с дрейфом концепций. А как насчет смены концепций?
Обработка концептуальных изменений
Об изменениях, которые вносятся людьми и которые могут повлиять на модель, необходимо сообщать, а модель необходимо адаптировать. Сложность в том, что лицо, ответственное за изменения, должно знать, что на модель влияют изменения. Корпоративная культура, ориентированная на машинное обучение, является ключом к успеху. Невозможное состоит в том, что иногда невозможно построить модель на «новом» оборудовании. У вас просто нет данных для новой модели, и, возможно, придется подождать некоторое время, пока они у вас появятся.
Другая идея - бэк-тестирование. В большинстве случаев вы знаете, что произошло потом. Таким образом, вы можете сравнить предсказание вашей модели с реальностью. С другой стороны, ваша проверка дает вам оценку истинной производительности вашего метода. Вы можете использовать эти два средних значения и проводить ежедневные сравнения. Если основная концепция переключается, вы должны увидеть снижение производительности. Подходы к панели инструментов и уведомлениям - хороший способ претворить это в жизнь.
Ключевой вывод: компетентность в машинном обучении имеет решающее значение
В этой статье показано, почему обычная практика «моделируй и беги» - плохая практика. Компаниям необходимо внимательно следить за поддержанием своей компетенции в области машинного обучения. Помимо поддержки вовлеченных лиц, также важно иметь одну общую платформу и хорошо документированный код.
