В сегодняшней шумихе вокруг машинного обучения, когда многие организации интегрировали или пытаются интегрировать системы машинного обучения в свои продукты и платформы. При внедрении систем машинного обучения в производство возникает множество проблем, включая создание, интеграцию, тестирование, выпуск, развертывание и управление инфраструктурой. Поэтому важно следовать передовой практике и знать, как преодолеть эти проблемы. Технологии MLOps — это инструменты и платформы, которые помогают организациям управлять и оптимизировать разработку, развертывание и обслуживание моделей машинного обучения.

В этой статье мы предоставим вам исчерпывающее руководство по изучению MLOps, включая ключевые концепции и навыки, которыми вам необходимо овладеть. Мы также предоставим вам подборку лучших бесплатных обучающих ресурсов, доступных в Интернете, которые помогут вам начать свое путешествие по MLOps. Независимо от того, являетесь ли вы новичком в MLOps или имеете некоторый опыт, эта дорожная карта предоставит вам четкий и структурированный путь, по которому вы сможете стать экспертом в этой захватывающей и быстро развивающейся области. Итак, приступим!

Оглавление:

  1. Основы машинного обучения
  2. Контроль версий для машинного обучения
  3. Инструменты непрерывной интеграции и непрерывной доставки (CI/CD)
  4. Управление инфраструктурой и ресурсами для машинного обучения
  5. Инструменты мониторинга и наблюдения за машинным обучением
  6. Управление проектами и конвейерами машинного обучения
  7. Инструменты безопасности и соответствия требованиям машинного обучения

Если вы хотите бесплатно изучать науку о данных и машинное обучение, ознакомьтесь со следующими ресурсами:

  • Бесплатные интерактивные дорожные карты для самостоятельного изучения науки о данных и машинного обучения. Начните здесь: https://aigents.co/learn/roadmaps/intro
  • Поисковая система для учебных ресурсов Data Science (БЕСПЛАТНО). Добавляйте в закладки свои любимые ресурсы, отмечайте статьи как завершенные и добавляйте учебные заметки. https://aigents.co/learn
  • Хотите изучить науку о данных с нуля при поддержке наставника и учебного сообщества? Присоединяйтесь к этому учебному кружку бесплатно: https://community.aigents.co/spaces/9010170/

Если вы хотите начать карьеру в области науки о данных и искусственного интеллекта, но не знаете, как это сделать. Я предлагаю сеансы наставничества по науке о данных и долгосрочное наставничество по карьере:

Присоединяйтесь к программе Среднее членство, чтобы продолжать обучение без ограничений. Я получу небольшую часть вашего членского взноса, если вы перейдете по следующей ссылке, без каких-либо дополнительных затрат с вашей стороны.



Присоединяйтесь к Medium по моей реферальной ссылке — Юссеф Хосни
Прочитайте все истории Юсефа Хосни (и тысяч других авторов на Medium). Ваш членский взнос напрямую поддерживает…youssefraafat57.medium.com



1. Основы машинного обучения

Первый шаг — изучить основы машинного обучения. Это включает в себя базовые модели машинного обучения в каждой из задач обучения, а также жизненный цикл проекта машинного обучения. Это включает в себя знание традиционных методов, предварительную обработку данных, а также обучение и оценку моделей.

Обучающие ресурсы:

2. Контроль версий для машинного обучения

Второй шаг в этой дорожной карте обучения — освоить контроль версий и то, как он используется в машинном обучении. Это включает в себя понимание таких инструментов, как Git, и того, как их использовать для отслеживания изменений в вашем коде и моделях.

Работа в производственной среде требует, чтобы специалисты по данным и инженеры по машинному обучению знали систему управления версиями. Поскольку вы будете работать в сотрудничестве с другими специалистами по данным, инженерами данных и разработчиками программного обеспечения, важно иметь возможность делиться своим кодом и обновлять его, а также профессионально следить за их обновлениями.

Обучающие ресурсы:

3. Инструменты непрерывной интеграции и непрерывной доставки (CI/CD)

Третий шаг — узнать об инструментах непрерывной интеграции и непрерывной доставки (CI/CD) и о том, как они могут автоматизировать построение, тестирование и развертывание моделей машинного обучения.

Непрерывная интеграция (CI) и непрерывная доставка (CD) являются ключевыми практиками в области MLOps, которые помогают автоматизировать и оптимизировать процесс создания, тестирования и развертывания моделей машинного обучения. Инструменты CI/CD — это программные инструменты, которые помогают в этих практиках, предоставляя автоматизированные конвейеры для создания, тестирования и развертывания кода. Некоторые популярные инструменты CI/CD включают в себя:

  • Jenkins: инструмент CI/CD с открытым исходным кодом, который широко используется и легко настраивается.
  • Travis CI: популярный облачный инструмент CI/CD, который легко настроить и использовать, особенно для проектов с открытым исходным кодом.
  • GitLab CI: инструмент CI/CD, тесно интегрированный с системой контроля версий GitLab, что упрощает настройку конвейеров CI/CD для проектов, управляемых с помощью GitLab.
  • CircleCI: облачный инструмент CI/CD, который популярен благодаря простоте настройки и быстрой сборке.

Важно выбрать правильный инструмент CI/CD для вашего проекта, принимая во внимание такие факторы, как размер вашей команды, сложность вашего проекта и ваш бюджет.

Обучающие ресурсы:

4. Управление инфраструктурой и ресурсами для машинного обучения

Четвертый шаг — узнать об инструментах управления инфраструктурой и ресурсами для машинного обучения. Сюда входит понимание того, как выделять вычислительные ресурсы и управлять ими для обучения и развертывания моделей машинного обучения, а также как масштабировать конвейеры машинного обучения. Примеры инструментов управления инфраструктурой и ресурсами включают:

  1. Kubernetes. Эта система с открытым исходным кодом позволяет автоматизировать развертывание, масштабирование и управление контейнерными приложениями. Это может быть особенно полезно для управления рабочими процессами машинного обучения, поскольку позволяет легко увеличивать или уменьшать масштаб по мере необходимости.
  2. Docker. Это инструмент, разработанный для упрощения создания, развертывания и запуска приложений с помощью контейнеров. Контейнеры позволяют упаковать приложение со всеми необходимыми частями, такими как библиотеки и другие зависимости, и отправить все это как один пакет. Это упрощает запуск приложения на любом другом компьютере, поскольку все, что ему нужно, содержится в пакете. Docker часто используется в сочетании с инструментами оркестрации контейнеров, такими как Kubernetes, для управления развертыванием и масштабированием контейнерных приложений. Он также широко используется для разработки и тестирования приложений машинного обучения, поскольку позволяет создавать изолированные среды с определенными зависимостями и пакетами.
  3. Amazon SageMaker. Этот полностью управляемый сервис от Amazon Web Services (AWS) упрощает процесс создания, обучения и развертывания моделей машинного обучения. Он включает в себя инструменты для управления ресурсами, такие как возможность выбора подходящего оборудования и автоматического увеличения или уменьшения масштаба по мере необходимости.
  4. Google Cloud AI Platform: эта облачная платформа от Google включает инструменты для создания, развертывания и управления моделями машинного обучения. Он включает в себя такие функции, как автоматическое масштабирование и управление ресурсами, которые помогут вам оптимизировать рабочий процесс машинного обучения.

В целом, существует множество инструментов, помогающих управлять инфраструктурой и ресурсами для машинного обучения, и правильный выбор будет зависеть от ваших конкретных потребностей и предпочтений.

Обучающие ресурсы:

5. Инструменты мониторинга и наблюдения за машинным обучением

Пятый шаг — узнать об инструментах мониторинга и наблюдения для машинного обучения. Это включает в себя понимание того, как отслеживать производительность и работоспособность моделей машинного обучения в производственной среде, а также устранение неполадок и отладку, которые могут возникнуть. Примеры инструментов мониторинга и наблюдения включают:

  1. TensorBoard: этот инструмент, разработанный Google, представляет собой веб-инструмент визуализации для экспериментов по машинному обучению. Он позволяет просматривать такие показатели, как потери и точность, а также визуализировать структуру вашей модели.
  2. Prometheus. Эта система мониторинга с открытым исходным кодом предназначена для сбора и хранения показателей ваших приложений и инфраструктуры. Он включает язык запросов для анализа данных и создания предупреждений.
  3. Datadog. Эта облачная платформа мониторинга позволяет отслеживать показатели, журналы и события ваших приложений и инфраструктуры. Он включает инструменты для визуализации и анализа данных, а также для создания оповещений.
  4. ELK Stack. ELK Stack — это набор инструментов с открытым исходным кодом для сбора, хранения и анализа журналов. Он включает в себя Elasticsearch для хранения и поиска журналов, Logstash для сбора и обработки журналов и Kibana для визуализации и анализа данных.

Обучающие ресурсы:

6. Управление проектами и конвейерами машинного обучения

Шестой шаг в этой дорожной карте — изучение инструментов и платформ для управления проектами и конвейерами машинного обучения. Это включает в себя понимание того, как отслеживать и совместно работать над проектами машинного обучения, а также организовывать и автоматизировать конвейеры машинного обучения. Примеры инструментов управления проектами и оркестровки конвейера включают:

  1. Argo: это платформа с открытым исходным кодом для автоматизации разработки и развертывания конвейеров машинного обучения в Kubernetes. Он разработан, чтобы быть гибким и масштабируемым и позволять вам легко создавать, управлять и контролировать рабочие процессы машинного обучения.
  2. Apache Airflow: Apache Airflow — это платформа с открытым исходным кодом для управления и планирования рабочих процессов. Он разработан, чтобы быть гибким и расширяемым, и может использоваться для управления широким спектром рабочих процессов, в том числе для машинного обучения.
  3. Kubeflow. Эта платформа с открытым исходным кодом предназначена для помощи в разработке и развертывании конвейеров машинного обучения в Kubernetes. Он включает инструменты для создания, управления и развертывания конвейеров машинного обучения, а также для мониторинга их производительности.

Обучающие ресурсы:

7. Инструменты безопасности и соответствия требованиям машинного обучения

Последний пункт в этой дорожной карте — изучение инструментов безопасности и соответствия требованиям машинного обучения. Это включает в себя знание того, как защитить конфиденциальные данные, поддерживать конфиденциальность данных и соблюдать законодательство и стандарты. Вот несколько популярных инструментов:

  1. HashiCorp Vault:этоинструмент для безопасного хранения и управления секретами, такими как пароли, ключи API и сертификаты. Он спроектирован так, чтобы обеспечить высокий уровень безопасности и обеспечить центральное место для хранения секретов, к которым приложения и пользователи могут легко получить доступ.
  2. AWS GuardDuty. Этот облачный сервис обнаружения угроз от Amazon Web Services (AWS) использует машинное обучение для выявления потенциальных угроз безопасности для ваших систем машинного обучения. Он включает в себя такие функции, как мониторинг в режиме реального времени и автоматические оповещения, которые помогут вам реагировать на потенциальные угрозы.

Обучающие ресурсы:

Если вам понравилась статья и вы хотите меня поддержать, обязательно сделайте следующее:

  • 👏 Похлопайте в историю (50 хлопков) и следуйте за мной 👉
  • 📰 Смотрите больше контента в моем среднем профиле
  • 🔔 Подпишитесь на меня: LinkedIn| Средний| Гитхаб | Твиттер
  • 🚀👉 Присоединяйтесь к программе Среднее членство, чтобы продолжать обучение без ограничений. Я получу небольшую часть вашего членского взноса, если вы перейдете по следующей ссылке, без каких-либо дополнительных затрат с вашей стороны.


Присоединяйтесь к Medium по моей реферальной ссылке — Юссеф Хосни
Прочитайте все истории Юсефа Хосни (и тысяч других авторов на Medium). Ваш членский взнос напрямую поддерживает…youssefraafat57.medium.com