Введение
Для масштабного развертывания моделей машинного обучения требуется надежная и гибкая инфраструктура для эффективного управления различными стратегиями развертывания. Kubernetes, мощная платформа для оркестрации контейнеров, завоевала популярность как идеальное решение для развертывания моделей машинного обучения благодаря своей масштабируемости, надежности и поддержке различных стратегий развертывания. В этой записи блога мы проведем вас через полную настройку кластера Amazon Elastic Kubernetes Service (EKS) и продемонстрируем, как реализовать три распространенные стратегии развертывания машинного обучения: Canary, Blue-Green и A/B-тестирование.
Предпосылки
Прежде чем мы углубимся в стратегии развертывания, убедитесь, что у вас есть следующие предварительные условия:
1. Учетная запись AWS
2. Установленный и настроенный интерфейс командной строки AWS
3. Установленный kubectl
4. Установленный Docker
5. Базовое понимание концепций Kubernetes
Настройка кластера Amazon EKS
Шаг 1. Создайте кластер Amazon EKS
Сначала создадим кластер Amazon EKS с помощью Консоли управления AWS или интерфейса командной строки AWS:
aws eks create-cluster - name my-eks-cluster - role-arn <your-eks-role-arn> - resources-vpc-config subnetIds=<subnet-id-1>,<subnet-id-2>,securityGroupIds=<security-group-id>
Шаг 2. Настройте kubectl
После создания кластера настройте kubectl для работы с вашим кластером EKS:
aws eks - region <region> update-kubeconfig - name my-eks-cluster
Шаг 3. Разверните модель машинного обучения
Для этой демонстрации мы будем использовать образец модели машинного обучения, упакованный в контейнер Docker. Вы можете заменить его своей собственной моделью. Создайте файл YAML развертывания Kubernetes ml-model-deployment.yaml и определите детали развертывания.
apiVersion: apps/v1
kind: Deployment
metadata:
name: ml-model-deployment
spec:
replicas: 2
template:
metadata:
labels:
app: ml-model
spec:
containers:
- name: ml-model-container
image: your-ml-model-image:tag
ports:
- containerPort: 8080
Разверните модель с помощью kubectl:
kubectl apply -f ml-model-deployment.yaml
Стратегия развертывания Canary
Развертывание Canary — это стратегия, которая позволяет постепенно развертывать новые функции или обновления для подгруппы пользователей. В Kubernetes вы можете добиться этого, используя комбинацию конфигураций службы и развертывания. Вот как:
Шаг 1. Создайте Canary-сервис
Создайте файл YAML службы Kubernetes canary-service.yaml, чтобы определить службу canary:
apiVersion: v1
kind: Service
metadata:
name: canary-service
spec:
selector:
app: ml-model
ports:
- protocol: TCP
port: 80
targetPort: 8080
type: LoadBalancer
Применить услугу:
kubectl apply -f canary-service.yaml
Шаг 2. Создайте канареечное развертывание
Создайте новый файл развертывания YAML canary-deployment.yaml для канареечного развертывания:
apiVersion: apps/v1
kind: Deployment
metadata:
name: canary-deployment
spec:
replicas: 1
selector:
matchLabels:
app: ml-model
template:
metadata:
labels:
app: ml-model
spec:
containers:
- name: ml-model-container
image: your-new-ml-model-image:tag
ports:
- containerPort: 8080
Примените канареечное развертывание:
kubectl apply -f canary-deployment.yaml
Теперь у вас есть канареечное развертывание, работающее вместе с существующим развертыванием.
Стратегия сине-зеленого развертывания
Сине-зеленое развертывание — это стратегия, при которой у вас есть две идентичные среды: одна (Синяя) с текущей версией и другая (Зеленая) с новой версией. Переключение между двумя средами происходит незаметно. Настроим сине-зеленое развертывание:
Шаг 1. Создайте синее развертывание
Создайте файл YAML развертывания Kubernetes для синего развертывания blue-deployment.yaml:
apiVersion: apps/v1
kind: Deployment
metadata:
name: blue-deployment
spec:
replicas: 2
selector:
matchLabels:
app: ml-model
template:
metadata:
labels:
app: ml-model
spec:
containers:
- name: ml-model-container
image: your-blue-ml-model-image:tag
ports:
- containerPort: 8080
Примените синее развертывание:
kubectl apply -f blue-deployment.yaml
Шаг 2. Создайте зеленое развертывание
Создайте аналогичный файл развертывания YAML для зеленого развертывания green-deployment.yaml, но используйте новую версию вашей модели:
apiVersion: apps/v1
kind: Deployment
metadata:
name: green-deployment
spec:
replicas: 0
selector:
matchLabels:
app: ml-model
template:
metadata:
labels:
app: ml-model
spec:
containers:
- name: ml-model-container
image: your-green-ml-model-image:tag
ports:
- containerPort: 8080
Примените зеленое развертывание:
kubectl apply -f green-deployment.yaml
Шаг 3. Переключите трафик
Чтобы переключить трафик с синего на зеленый, обновите службу, чтобы она указывала на зеленое развертывание:
kubectl patch svc canary-service -p '{"spec":{"selector":{"app":"green-deployment"}}}'
Стратегия развертывания A/B-тестирования
A/B-тестирование включает в себя развертывание нескольких версий вашей модели и направление части входящего трафика на каждую версию. Это позволяет сравнивать производительность различных моделей контролируемым образом. Настроим A/B-тестирование:
Шаг 1. Создание развертываний A/B
Создайте два файла развертывания YAML для развертываний A/B ab-deployment-a.yaml и ab-deployment-b.yaml:
Развертывание Aab-deployment-a.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: ab-deployment-a
spec:
replicas: 2
selector:
matchLabels:
app: ml-model
template:
metadata:
labels:
app: ml-model
spec:
containers:
- name: ml-model-container
image: your-ab-ml-model-image-a:tag
ports:
- containerPort: 8080
Развертывание B ab-deployment-b.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: ab-deployment-b
spec:
replicas: 2
selector:
matchLabels:
app: ml-model
template:
metadata:
labels:
app: ml-model
spec:
containers:
- name: ml-model-container
image: your-ab-ml-model-image-b:tag
ports:
- containerPort: 8080
Примените развертывание A/B:
kubectl apply -f ab-deployment-a.yaml kubectl apply -f ab-deployment-b.yaml
Шаг 2. Настройте правила входящего трафика
Создайте ресурс Ingress, чтобы определить правила направления трафика на развертывания A/B ab-ingress.yaml:
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ab-ingress
spec:
rules:
- host: your-ml-app-domain.com
http:
paths:
- pathType: Prefix
path: /
backend:
service:
name: ab-deployment-a
port:
number: 8080
Применить ресурс Ingress:
kubectl apply -f ab-ingress.yaml
Заключение
Здесь мы рассмотрели полную настройку кластера Amazon EKS и продемонстрировали, как реализовать три мощные стратегии развертывания машинного обучения: Canary, Blue-Green и A/B-тестирование. Эти стратегии позволяют эффективно управлять развертыванием моделей машинного обучения и обеспечивать плавный и контролируемый переход для ваших пользователей. Используя возможности Kubernetes, вы можете добиться плавного и эффективного развертывания модели машинного обучения, гарантируя оптимальную производительность и удовлетворенность пользователей.
Дополнительные сведения и подробные примеры кода см. в репозитории GitHub: Стратегии развертывания машинного обучения в Kubernetes.
Удачного развертывания!
