Distribuire modelli di Machine Learning nel servizio Kuacks con Kubeflow

Archiviazione BLOB
Registro contenitori
Servizio Kubernetes

Idea della soluzione

Se si desidera vedere questo articolo con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o linee guida sui prezzi, è possibile inviare commenti e suggerimenti GitHub!

Questa idea di soluzione riguarda l'inferenza in tempo reale servizio Azure Kubernetes (AKS). Usare il servizio AKS quando sono necessarie distribuzioni di produzione su larga scala dei modelli di Machine Learning. Per scalabilità elevata si intende funzionalità quali tempi di risposta rapidi, scalabilità automatica del servizio distribuito e registrazione. Per altre informazioni, vedere Deploy a model to an servizio Azure Kubernetes cluster.

In questa soluzione, Kubeflow viene usato per gestire la distribuzione nel servizio Web AKS. I ML vengono eseguiti in cluster del servizio Web Disattesi supportati da macchine virtuali abilitate per GPU.

Architettura della distribuzione nel servizio AKS

Diagramma dell'architettura: distribuzione di modelli di Machine Learning in Azure Kubernetes Services (AKS) Scaricare un gruppo SVG di questa architettura.

Flusso di dati

  1. Creare un pacchetto del modello di Machine Learning (ML) in un contenitore e pubblicare in Registro Azure Container (ACR).
  2. Gli host di archiviazione BLOB di Azure eseere il training dei set di dati e del modello con training.
  3. Usare Kubeflow per distribuire il processo di training nei servizi Azure Kubernetes. I processi di training distribuiti nel servizio AKS includono i server dei parametri e i nodi di lavoro.
  4. Servire il modello di produzione usando Kubeflow, promuovendo un ambiente coerente tra test, controllo e produzione.
  5. Il servizio AKS supporta la macchina virtuale abilitata per GPU.
  6. Gli sviluppatori compilano funzionalità per eseguire query sul modello in esecuzione nel cluster del servizio AppKs.

Componenti

Passaggi successivi

Vedere altri articoli del Centro architetture:

Leggere la documentazione del prodotto: