Автор Эш Ву и Эвен Вэй

В области машинного обучения существует множество инструментов. Очень часто можно использовать PrimeHub вместе с другими инструментами — независимо от того, что PrimeHub не охватил или это незаменимая часть вашего существующего рабочего процесса.

Мы хотим, чтобы PrimeHub хорошо сочетался с другими инструментами в этой области, пока мы создаем PrimeHub. Есть два подхода: фаппликации позволяют нам интегрировать другие инструменты в PrimeHub. А с помощью primehub-sdk вы можете взаимодействовать или вызывать функции PrimeHub из других компонентов. Платформа PrimeHub предоставляет пользователям графический интерфейс для сквозного рабочего процесса машинного обучения. Точно так же Primehub-sdk может предоставить манипуляции с API и CLI для достижения тех же возможностей.

В предыдущей статье мы познакомили с Primehub-sdk, объяснили, что предлагает Primehub-sdk. И в этом посте мы хотели бы продолжить эту тему и привести более конкретный пример того, как использовать primehub-sdk в своей повседневной работе.

Расход воздуха

Apache Airflow — это инструмент управления рабочими процессами с открытым исходным кодом, который широко используется в сообществах MLOps и инженеров данных. Он популярен благодаря своему дружественному к Python характеру, рабочие процессы могут быть созданы с использованием чистого кода Python. Airflow также может подключаться к различным облачным сервисам, от AWS Lambda до потока данных GCP.

Многие из наших клиентов уже использовали Airflow для управления рабочими процессами машинного обучения. Возможность подключения Airflow и PrimeHub для них очень удобна. Они могут вызывать функции PrimeHub непосредственно из заданий Airflow и беспрепятственно интегрировать PrimeHub со своей существующей цепочкой инструментов.

Мы хотели бы привести здесь реальный пример, чтобы продемонстрировать, как это можно сделать простым способом. В примере у нас есть простой пайплайн, обучающий модель классификации рукописных цифр, состоит из четырех задач:

  • Обновление: создайте задание PrimeHub для обновления набора данных или сценариев обучения.
  • Обучить: создать задание PrimeHub для обучения модели.
  • Развертывание: создайте развертывание PrimeHub с обученной моделью.
  • Проверка: протестируйте развернутую модель.

Настройка среды

Сначала мы устанавливаем пакет primehub-python-sdk python и добавляем переменные для PrimeHub SDK в Airflow, включая конечную точку API, токен API и группу.

Перед созданием конвейера нам нужно инициализировать PrimeHub SDK с конфигурацией, сохраненной в переменных воздушного потока. Кроме того, мы обертываем метод отправки заданий PrimeHub.

Обновлять

В первом задании мы собираемся создать рабочее пространство для пайплайна и скачать Jupyter Notebook для обучения. Вы можете клонировать последние обучающие сценарии из своего репозитория, обновить набор данных для обучения или выполнить любые предварительные условия на этом этапе.

Тренироваться

Для процесса обучения мы используем Papermill для запуска блокнота, скачанного в предыдущем задании. Не забудьте установить правильный тип экземпляра и изображение для задания, здесь мы обучаем модель только с ЦП и TensorFlow 2.

Развертывать

Когда новая модель будет готова, мы можем развернуть ее в PrimeHub Deployments. Сначала мы получаем URI последней модели из PrimeHub SDK, а затем создаем развертывание с помощью нашего предварительно упакованного сервера модели. Если есть старое развертывание, мы просто обновляем URI модели. Поскольку для развертывания или обновления модели потребуется некоторое время, мы ждем завершения этой задачи.

Проверять

Чтобы протестировать развертывание, мы получаем конечную точку с помощью PrimeHub SDK, а затем тестируем API со статическими данными. Вы также можете добавить тесты для крайних случаев, чтобы обеспечить качество на этом этапе.

Проверьте полный исходный код и попробуйте прямо сейчас!

Заключение

Ландшафт MLOps меняется очень быстро. Мы делаем все возможное, чтобы создать PrimeHub таким образом, чтобы открыть больше возможностей, сотрудничая со всеми лучшими инструментами сообщества.

В будущем мы планировали выпускать все больше и больше функций для primehub-sdk и считали, что с помощью таких инструментов, как primehub-sdk и phapplication, мы даем нашим пользователям возможность использовать PrimeHub любым способом, которым они хотят. Возможности безграничны.

Хотите поиграть в наш SDK? ДА! Добро пожаловать, чтобы исследовать его в Colab.