Вступление:

MLOps - одна из новых быстрорастущих областей. Все хотят изучать MLOps из-за высокого спроса на профессионалов MLOps. Я расскажу, что такое MLops и какие бесплатные ресурсы доступны для изучения MLops.

В недавнем опросе, проведенном O Rielly media, говорится, что самым большим препятствием на пути к успеху предприятия с ИИ является трудность поиска людей с необходимыми навыками.

  • Что такое MLOps
  • Ресурсы для изучения MLOps

Что такое MLOps?

Согласно документации Google Cloud

MLOps - это методология разработки машинного обучения, которая объединяет разработку системы машинного обучения (элемент ML) с операциями системы машинного обучения (элемент Ops). Он выступает за формализацию и (когда это выгодно) автоматизацию критических этапов построения системы машинного обучения. MLOps предоставляет набор стандартизированных процессов и технологических возможностей для быстрого и надежного создания, развертывания и ввода в действие систем машинного обучения.

MLOps поддерживает разработку и развертывание машинного обучения так же, как DevOps и DataOps поддерживают разработку приложений и разработку данных (аналитику). Разница в том, что при развертывании веб-службы вы заботитесь об устойчивости, количестве запросов в секунду, балансировке нагрузки и т. Д. При развертывании модели машинного обучения вам также необходимо беспокоиться об изменениях данных, изменениях в модели, пользователях, пытающихся обмануть систему, и т. Д. В этом суть MLOps.

Ресурсы для изучения MLOps:

Я вижу, что ресурсов по MLOps очень мало. По построению моделей машинного обучения доступно больше ресурсов, чем по MLops.

Вот мой список и не в каком-то определенном порядке.

Плейлист 1.TFX:

TensorFlow Extended (TFX) - это комплексная платформа для развертывания производственных конвейеров машинного обучения.

Обзор TFX

2. ИАИнженерия:

Я думаю, что почти все знают Шривацан Шринивасан. У него много отличных плейлистов для MLOps. В приведенных ниже плейлистах рассказывается о MLOps и развертывании модели.

Сообщество 3.MLOps:

YouTube-канал сообщества MLOps удовлетворяет быстро растущую потребность в обмене практическими передовыми практиками в области машинного обучения от инженеров на местах. Этот канал берет интервью у многих инженеров MLOps и делится лучшими практиками и опытом. Ссылка ниже



MLOps.community
Сообщество MLOps удовлетворяет быстро растущую потребность в обмене практическими передовыми практиками операций машинного обучения с… www.youtube.com



Как показано на диаграмме выше, только небольшая часть реальной системы машинного обучения состоит из кода машинного обучения. Остальная часть системы состоит из конфигурации, автоматизации, сбора данных, проверки данных, тестирования и отладки, управления ресурсами и т. Д. анализ моделей, управление процессами и метаданными, обслуживающая инфраструктура и мониторинг.

4.MLOps:

Пожалуйста, проверьте это. С помощью Machine Learning Model Operationalization Management (MLOps) обеспечьте сквозной процесс разработки машинного обучения для проектирования, создания и управления воспроизводимым, тестируемым и эволюционируемым программным обеспечением на базе машинного обучения. Содержание этого сайта было создано доктором Ларисой Висенгериевой, Аней Каммер, Изабель Бер, Александром Книшем и Майклом Плодом.



ml-ops.org
Будучи развивающейся областью, MLOps быстро набирает обороты среди специалистов по данным, инженеров машинного обучения и энтузиастов искусственного интеллекта… ml-ops.org



5. статьи МЛОПС:

Я слежу за Апарна Динакаран. Она постоянно пишет о MLOps в Medium. Проверяйте ее статьи.



Aparna Dhinakaran - Medium
В быстром темпе многие методы машинного обучения перешли от проверки концепций к работе важнейших частей… aparnadhinak.medium.com



6.Специализация машинного обучения для производства (MLOps):

Это новый курс Coursera, созданный Эндрю Нг из Deep Learning Ai. Специализация «Машинное обучение для производства» (MLOps) охватывает способы концептуализации, построения и обслуживания интегрированных систем, которые непрерывно работают в производственной среде. В отличие от стандартного моделирования машинного обучения, производственные системы должны обрабатывать постоянно меняющиеся данные. Более того, производственная система должна работать без остановок при минимальных затратах и ​​при максимальной производительности. В этой специализации вы узнаете, как использовать хорошо зарекомендовавшие себя инструменты и методологии для эффективного и результативного выполнения всего этого.

В нем 4 курса

  • Введение в машинное обучение в производстве
  • Жизненный цикл данных машинного обучения в производственной среде
  • Конвейеры моделирования машинного обучения в производственной среде
  • Развертывание моделей машинного обучения в производственной среде


Машинное обучение для производства (MLOps)
Станьте экспертом по машинному обучению. Накопите свои знания о машинном обучении и расширьте свои производственные технологии… www.coursera.org



7. Основы MLOps (Machine Learning Operations)

Этот курс разработан командой Google Cloud. Этот курс знакомит участников с инструментами MLOps и передовыми методами развертывания, оценки, мониторинга и эксплуатации производственных систем ML в Google Cloud. MLOps - это дисциплина, ориентированная на развертывание, тестирование, мониторинг и автоматизацию систем машинного обучения в производственной среде. Специалисты по машинному обучению используют инструменты для постоянного улучшения и оценки развернутых моделей. Они работают с (или могут быть) специалистами по данным, которые разрабатывают модели, чтобы обеспечить скорость и точность при развертывании наиболее эффективных моделей.



Основы MLOps (машинное обучение)
Этот курс знакомит участников с инструментами MLOps и передовыми методами развертывания, оценки, мониторинга и… www.coursera.org



8. Руководства по MLOps:

Еще один канал на YouTube с обучающими материалами по MLOps.

9. Kubernetes и Docker:

Просто посмотрите ниже, и он охватывает все, что вам нужно знать о Kubernetes.

и для докера

10. Еще несколько дополнительных ресурсов:

  1. Как улучшить навыки разработки программного обеспечения в качестве исследователя. Это дает общее представление о том, какие навыки необходимы специалисту по анализу данных, чтобы стать инженером по операциям машинного обучения.


Как улучшить навыки разработки программного обеспечения в качестве исследователя
Здравствуйте! Вы здесь, потому что я размышлял о том, как вы можете улучшить свои навыки работы с программным обеспечением как исследователь. Может быть, наш… ljvmiranda921.github.io





Навигация по инструментам MLOps (Часть 1: Жизненный цикл)
Это первая из трех статей в блоге о среде MLOps. Здесь я расскажу о жизненном цикле машинного обучения и… ljvmiranda921.github.io





Навигация по инструментам MLOps (Часть 2: Экосистема)
Это вторая из трех статей в блоге о среде MLOps. Здесь я рассмотрю саму экосистему и… ljvmiranda921.github.io



2. Сделано с помощью машинного обучения: узнайте, как применять машинное обучение для создания продукта промышленного уровня и повышения его ценности.



Сделано с помощью машинного обучения - создано с помощью машинного обучения
Прикладное машинное обучение · MLOps · Производство Присоединяйтесь к более чем 20 тысячам разработчиков, чтобы узнать, как ответственно создавать ценности с помощью машинного обучения. Мы не… madewithml.com



3. MLOps Tooling Landscape v2 (+84 новых инструмента) от Chip huygen:



MLOps Tooling Landscape v2 (+84 новых инструмента) - декабрь '20 г.
В июне прошлого года я опубликовал пост« Что я узнал, изучив 200 инструментов машинного обучения . Сообщение привлекло внимание… huyenchip.com »



4. Руководство по MLOps для практиков: основа для непрерывной доставки и автоматизации машинного обучения.

В этом техническом документе представлен обзор жизненного цикла MLOps, процессов и возможностей MLOps, а также того, почему они важны для успешного внедрения систем на основе ML. Он также глубоко погружается в конкретные детали запуска конвейера непрерывного обучения, развертывания модели и мониторинга прогнозирующей производительности моделей машинного обучения.

Я нашел этот документ очень полезным.



Практическое руководство по MLOps | Google Cloud
Практическое руководство по MLOps: структура для непрерывной доставки и автоматизации машинного обучения Этот технический документ… cloud.google.com



5. Руководство по People + AI представляет собой набор методов, передовых практик и примеров для проектирования с использованием ИИ.

  • Потребности пользователей + Определение успеха
  • Сбор данных + оценка
  • Ментальные модели
  • Объяснимость + Доверие
  • Обратная связь + контроль
  • Ошибки + постепенный отказ


Руководство People + AI
Набор инструментов для команд, создающих ориентированные на человека продукты AI. pair.withgoogle.com



6.Kubeflow / Vertex Pipelines:

Vertex Pipelines помогает вам автоматизировать, контролировать и управлять вашими системами машинного обучения, организуя рабочий процесс машинного обучения без сервера и сохраняя артефакты рабочего процесса с использованием метаданных Vertex ML. Сохраняя артефакты рабочего процесса машинного обучения в метаданных Vertex ML, вы можете анализировать происхождение артефактов рабочего процесса - например, происхождение модели машинного обучения может включать обучающие данные, гиперпараметры и код, которые использовались для создания модели.



Вершинные конвейеры | Vertex AI | Google Cloud
Независимо от того, находится ли ваш бизнес на раннем этапе или на пути к цифровой трансформации, решения Google Cloud… cloud.google.com



7. Великолепные MLOps:

Кураторский список потрясающих инструментов MLOps.



kelvins / awesome-mlops
Список замечательных инструментов MLOps. В духе awesome-python. Инструменты для выполнения AutoML. Инструменты для выполнения… github.com



8.MLflow:

MLflow - это платформа с открытым исходным кодом для управления жизненным циклом машинного обучения, включая эксперименты, воспроизводимость, развертывание и центральный реестр моделей. В настоящее время MLflow предлагает четыре компонента.

  • Отслеживание MLflow
  • Проекты MLflow
  • Модели MLflow
  • Модельный реестр.


MLflow - платформа для жизненного цикла машинного обучения
Платформа с открытым исходным кодом для жизненного цикла машинного обучения MLflow - это платформа с открытым исходным кодом для управления машинным обучением… mlflow. org



9. Отличное производственное машинное обучение.



EthicalML / awesome-production-machine-learning
Этот репозиторий содержит тщательно подобранный список замечательных библиотек с открытым исходным кодом, которые помогут вам развертывать, отслеживать, версии… github .com



10.MLOps в Azure:

Azure ML содержит ряд служб управления активами и оркестровки, которые помогут вам управлять жизненным циклом рабочих процессов обучения и развертывания вашей модели.



microsoft / MLOps
Примеры и решения MLOps. Коллекция примеров, показывающих различные сквозные сценарии реализации… github.com



Заключение:

Область MLOps быстро растет, и всегда лучше изучить процесс и используемые инструменты. В документации Google по облаку говорится о преимуществах MLOps.

  • Более короткие циклы разработки и, как следствие, более короткое время выхода на рынок.
  • Лучшее сотрудничество между командами.
  • Повышенная надежность, производительность, масштабируемость и безопасность систем машинного обучения.
  • Оптимизированные операционные и управленческие процессы.
  • Повышение рентабельности инвестиций в ML-проекты.

Не стесняйтесь связаться со мной в LinkedIn

Использованная литература:

  1. MLOps: конвейеры непрерывной доставки и автоматизации в машинном обучении: https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
  2. Вершинный конвейер: https://cloud.google.com/vertex-ai/docs/pipelines
  3. Руководства по Tensorflow: https://www.tensorflow.org/tfx/tutorials
  4. Конвейеры Kubeflow: https://www.kubeflow.org/docs/components/pipelines/pipelines-quickstart/
  5. Операции машинного обучения: https://ml-ops.org/