Déployer des modèles Machine Learning sur AKS avec Kubeflow

Stockage Blob
Container Registry
Kubernetes Service

Idée de solution

Si vous souhaitez nous voir développer cet article avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, faites-le nous savoir avec les Commentaires de GitHub.

Cette idée de solution concerne l’inférence en temps réel sur Azure Kubernetes Service (AKS).

Cas d’usage potentiels

Utilisez AKS lorsque vous avez besoin de déploiements de production à grande échelle de vos modèles de Machine Learning. À grande échelle signifie des fonctionnalités telles que le temps de réponse rapide, la mise à l’échelle automatique du service déployé et la journalisation. Pour plus d’informations, consultez Déployer un modèle sur un cluster Azure Kubernetes Service.

Dans cette solution, Kubeflow est utilisé pour gérer le déploiement sur AKS. Vos modèles ML s’exécutent dans des clusters AKS avec des machines virtuelles compatibles avec les processeurs GPU.

Architecture

Architecture diagram: deploying machine learning models to Azure Kubernetes Services (AKS).Téléchargez un SVG de cette architecture.

Dataflow

  1. Empaquetez le modèle Machine Learning (ML) dans un conteneur et publiez dans Azure Container Registry (ACR).
  2. Le service Stockage Blob Azure héberge les jeux de données d’apprentissage et un modèle formé.
  3. Utilisez Kubeflow pour déployer le travail d’apprentissage sur Azure Kubernetes Services (AKS). La tâche d’apprentissage distribuée à AKS comprend des serveurs de paramètres et des nœuds Worker.
  4. Traitez le modèle de production à l’aide de Kubeflow, en promouvant un environnement cohérent entre le test, le contrôle et la production.
  5. AKS prend en charge les machines virtuelles compatibles avec le processeur GPU.
  6. Les développeurs créent des fonctionnalités pour interroger le modèle qui s’exécute dans le cluster AKS.

Composants

Étapes suivantes

Lisez la documentation des produits :

Consultez d’autres articles sur le Centre des architectures :