Distribuera maskininlärningsmodeller till AKS med Kubeflow

Blob Storage
Container Registry
Kubernetes Service

Lösningsidé

Om du vill att vi utökar den här artikeln med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du berätta för GitHub Feedback!

Den här lösningsidéen handlar om inferens i Azure Kubernetes Service (AKS). Använd AKS när du behöver storskaliga produktionsdistributioner av dina maskininlärningsmodeller. Högskala innebär funktioner som snabb svarstid, automatisk skalning av den distribuerade tjänsten och loggning. Mer information finns i Distribuera en modell till ett Azure Kubernetes Service kluster.

I den här lösningen används Kubeflow för att hantera distributionen till AKS. Dina ML på AKS-kluster som backas upp av GPU-aktiverade virtuella datorer.

Arkitektur för distribution till AKS

Arkitekturdiagram: Distribuera maskininlärningsmodeller till Azure Kubernetes Services (AKS) Ladda ned en SVG för den här arkitekturen.

Dataflöde

  1. Paketera maskininlärningsmodellen (ML) till en container och publicera till Azure Container Registry (ACR).
  2. Azure Blob Storage är värd för träningsdatauppsättningar och tränad modell.
  3. Använda Kubeflow för att distribuera träningsjobb till Azure Kubernetes Services (AKS); Distribuerade träningsjobb till AKS omfattar parameterservrar och arbetsnoder.
  4. Betjäna produktionsmodellen med Kubeflow, vilket främjar en konsekvent miljö för testning, kontroll och produktion.
  5. AKS stöder GPU-aktiverad virtuell dator.
  6. Utvecklare skapar funktioner för att köra frågor mot modellen som körs i AKS-kluster.

Komponenter

Nästa steg

Se andra artiklar om Architecture Center:

Läs produktdokumentationen: