млн операций в 2022 г.
Машинное обучение и наука о данных Операционный процесс
- Поскольку область науки о данных растет, а новые инновации расширяют процесс
- Новый процесс для объяснения и просмотра того, что делает модель
- Проверка на предвзятость и справедливость в модели
- Отслеживайте и поддерживайте дрейф данных и дрейф производительности модели
- Новые инструменты и автоматизация
- Конфиденциальность, управление и безопасность
- Это просто новая текущая версия по состоянию на 2022 год, которая может измениться с изменением технологий.
процесс Млопс
Объяснение процесса
- Наука о данных была успешной, когда мы использовали подход, основанный на прецедентах.
- Каждый вариант использования будет сообщать нам, какие данные необходимы и из каких источников данных.
- Поскольку данные поступают из различных источников данных, хорошо создать озеро данных для получения данных.
- После того, как данные попали в озеро данных, пришло время заняться проектированием данных или проектированием функций.
- разработка признаков — это способ организовать функции, необходимые для моделирования.
- функции могут быть источниками из нескольких источников
- функция может быть создана на основе варианта использования
- функции могут быть объединены в зависимости от варианта использования
- После того, как функции собраны и обработаны, следующее моделирование
- Моделирование — это процесс разделения данных на две части.
- В основном 70, 30 или 80, 20 процентов.
- Как только данные разделены, запустите алгоритм
- Это итеративный процесс, либо характеристики могут быть изменены, либо алгоритм
- в зависимости от типа машинного обучения (классификация, регрессия или временные ряды) могут применяться различные алгоритмы.
- Проверьте модель с новым набором данных и проанализируйте производительность
- Здесь мы также углубимся в модель и объясним, что она делает.
- Объяснимость
- Справедливость
- Анализ ошибок
- Неверные факты
- Причинно-следственный анализ
- Обозреватель данных
- Конфиденциальность
- Применяйте ответственный ИИ, чтобы убедиться, что модель справедлива и обеспечивает наилучшие результаты.
- Для продвижения вперед выбирается модель, обеспечивающая наилучшую точность.
- Убедитесь, что метрика и точность модели сохранены
- в некоторых случаях диаграмма RUC или другие визуальные элементы также сохраняются для дальнейшего анализа.
- Когда мы готовы к развертыванию, нам нужно оценить, лучше ли новая модель, чем предыдущая для уже созданной модели.
- Если новая модель или существующая модель с изменением количества функций, мы можем пропустить проверку оценки.
- Как только он пройдет, зарегистрируйте модель
- При регистрации модели мы также регистрируем хранилище функций для использования другими
- Показатели модели, такие как точность и другие показатели, сохраняются для отслеживания производительности модели.
- При желании мы можем зарегистрировать модель как торговую площадку для использования другими сотрудниками организации.
- Следующий потенциальный ответственный ИИ
- Этот раздел новый
- Здесь мы также углубимся в модель и объясним, что она делает.
- Объяснить способность
- Справедливость
- Анализ ошибок
- Неверные факты
- Причинно-следственный анализ
- Обозреватель данных
- Конфиденциальность
- Все вышеперечисленное можно рассчитать и сохранить для модели.
- На этапе разработки это можно применить к каждой модели, чтобы выяснить, какая модель обеспечивает наилучшие результаты.
- Затем разверните свою модель в качестве конечных точек в реальном времени или в пакетном режиме.
- Также сохраните метрику вывода модели
- Дополнительные функции, такие как дрейф данных и дрейф модели, можно отслеживать, чтобы переобучить модель, если производительность ухудшится.
- Весь процесс построен с учетом безопасности
- Управление также построено с мониторингом для управления процессом
- Дополнительное происхождение и каталогизация также применяются как для обучения, так и для вывода.
Samples2022/mlops.md на главной · балакрешнан/Samples2022 (github.com)
