使用 Kubeflow 將機器學習模型部署至 AKS

Blob 儲存體
Container Registry
Kubernetes Service

解決方案構想

如果您想要瞭解如何使用詳細資訊來擴充本文,例如可能的使用案例、替代服務、實行考慮或定價指引,請讓我們知道 GitHub 的意見反應!

此解決方案構想是關於 Azure Kubernetes Service (AKS) 的即時推斷。 當您需要機器學習模型的大規模生產環境部署時,請使用 AKS。 高規模的表示功能,例如快速回應時間、已部署服務的自動調整,以及記錄。 如需詳細資訊,請參閱 將模型部署到 Azure Kubernetes Service 叢集中

在此解決方案中, Kubeflow 是用來管理 AKS 的部署。 您的 ML 模型會在已啟用 GPU 的 vm 所支援的 AKS 叢集上執行。

部署至 AKS 的架構

架構圖:將機器學習模型部署到 Azure Kubernetes Services (AKS) 下載此架構的SVG

資料流程

  1. 封裝機器學習 (ML) 模型進入容器,併發布至 Azure Container Registry (ACR) 。
  2. Azure Blob 儲存體會裝載訓練資料集和定型的模型。
  3. 使用 Kubeflow 將定型作業部署至 Azure Kubernetes Services (AKS) ;AKS 的分散式訓練作業包含參數伺服器和背景工作節點。
  4. 使用 Kubeflow 提供生產模型,在測試、控制和生產環境中提升一致的環境。
  5. AKS 支援已啟用 GPU 的 VM。
  6. 開發人員會建立功能來查詢在 AKS 叢集中執行的模型。

單元

下一步

請參閱其他架構中心文章:

閱讀產品檔: