您现在访问的是微软AZURE全球版技术文档网站,若需要访问由世纪互联运营的MICROSOFT AZURE中国区技术文档网站,请访问 https://docs.azure.cn.

将机器学习模型部署到 AKS 和 Kubeflow

Blob 存储
容器注册表
Kubernetes 服务

解决方案构想

若要查看有关详细信息、实现细节、定价指南或代码示例的信息,请向我们提供 GitHub 反馈

此解决方案思路是有关 AKS Azure Kubernetes 服务 (上的) 。 需要机器学习模型的大规模生产部署时,请使用 AKS。 大规模意味着快速响应时间、自动缩放已部署服务和日志记录等功能。 有关详细信息,请参阅 将模型部署到Azure Kubernetes 服务群集

在此解决方案中 ,Kubeflow 用于管理到 AKS 的部署。 ML 模型在启用了 GPU 的 VM 支持的 AKS 群集上运行。

部署到 AKS 的体系结构

体系结构关系图:将机器学习模型部署到 Azure Kubernetes Services (AKS) 下载此体系结构的 SVG。

数据流

  1. 将机器学习 (ML) 模型打包到容器中,并发布到 Azure 容器注册表 (ACR) 。
  2. Azure Blob 存储托管训练数据集和训练模型。
  3. 使用 Kubeflow 将训练作业部署到 AKS (Azure Kubernetes) ;AKS 的分布式训练作业包括参数服务器和辅助角色节点。
  4. 使用 Kubeflow 为生产模型提供服务,跨测试、控制和生产环境提升一致的环境。
  5. AKS 支持启用了 GPU 的 VM。
  6. 开发人员生成功能来查询在 AKS 群集中运行的模型。

组件

后续步骤

请参阅其他体系结构中心文章:

阅读产品文档: