В этой статье мы рассмотрим шаги, которые необходимо выполнить для мониторинга и дальнейшего улучшения модели.
Мы ожидаем, что модели со временем ухудшатся. Это явление называется дрейфом модели. Дрейф модели происходит по следующей причине
- Мы проверили на ограниченных данных. Реальные данные могут отличаться. В B2B производительность в среде UAT будет отличаться от производительности в производственной среде.
- Структура ввода может измениться. Например, значения функциональной группы изменились с Sales, Presales и т. д. на Sales_Asia, Sales_Europe, Presales_Asia и т. д.
- Точно так же, как интересы людей, природа данных и их взаимосвязь меняются с течением времени
- Дрейф концепций: концепция или шаблон, которым научилась модель, становятся неактуальными. Пример: для классификации команд по заданию местоположение было важной характеристикой. Позже команда решила, что команда по назначению должна основываться на категории проблемы, а не на ее местоположении. Это приводит к неправильному выводу.
- Дрейф данных: данные и свойства могут измениться. Пример: готовые ответы могут быть добавлены и удалены. Некоторые классы могут использоваться в большей или меньшей степени по сравнению с проверочными данными.
Следующие шаги помогут нам улучшить модель в производстве.
Узнайте правду
- Создайте систему, чтобы фиксировать наземную правду. В случаях CRS и FC пользователь явно заполнит правильный вывод.
- Как и в случае с командой тестирования, создайте отдельную группу аннотаторов, которая будет аннотировать фактические значения. Таким образом можно зафиксировать основную истину SA.
- Для случая использования, такого как CCP, нам нужно подождать как минимум несколько недель, чтобы узнать правду.
Попросите клиента оставить отзыв
- Использует ли клиент эту функцию?
. Иногда для отображения прогноза может потребоваться некоторая настройка. В отдельных случаях отправьте групповое письмо с инструкцией или даже демо-версией, чтобы сделать это быстрее
— Некоторым клиентам это может быть неинтересно. Один из известных клиентов не был готов использовать FC. Причина заключалась в том, что они считали, что это может снизить рабочую нагрузку и привести к потере работы. Другой стартап с удовольствием им воспользовался, так как у них высокая нагрузка и для них это было довольно полезно. - Решите проблему
— Ожидания могут быть высокими. Это может быть в основном из-за того, что команда PreSales перепродала его :). В случаях CRS модель должна автоматически прогнозировать новый стандартный ответ. Мы предположили, что нам потребуется 50 примеров и как минимум две недели на перестройку модели.
- лучше фиксировать до жалоб клиентов. Вот где группа внедрения приходит к возобновлению.
Наделите полномочиями группу внедрения:
- Команда внедрения – это команда, тесно работающая с заказчиком. Воспринимайте реализацию как героя, а команду специалистов по данным — как команду, которая создает крутые гаджеты для героя. Если это первый клиент, специалист по данным должен заниматься внедрением как минимум несколько месяцев. Позже его может взять на себя команда внедрения. Вспомогательные инструменты необходимы для создания кошелька группы внедрения.
- Инструменты мониторинга: инструменты для обеспечения точности, точности и т. д.
- Инструменты мониторинга данных: инструменты для мониторинга классов и распределения функций
- Система оповещения: Система оповещения по электронной почте, если прогноз плохой и распределение изменилось радикально
- Инструмент перестроения модели: инструмент для переобучения модели с дополнительными данными. Если новая модель не возвращает ожидаемый результат. Требуется поддержка специалиста по обработке и анализу данных.
- Анализ специалиста по анализу данных. Специалисты по анализу данных должны увидеть, в чем заключается проблема. Проблемы могут быть связаны с новыми функциями, которые необходимо включить или нормализовать функции и т. д. Это требует обширной работы, аналогичной предыдущим статьям.
Это общий обзор усовершенствования модели в производстве. В следующей статье рассказывается о развертывании конвейеров машинного обучения. Пожалуйста, нажмите здесь для следующей статьи
Пожалуйста, нажмите здесь, чтобы перейти к первой статье
