Share via

什么是 Azure 托管 Lustre？

  • 项目

Azure 托管 Lustre 服务使你能够快速创建一个基于 Azure 的 Lustre 文件系统，用于基于云的高性能计算作业。

Lustre 是一个开源并行文件系统，可扩展到大型存储大小，同时提供高性能吞吐量。 Lustre 被世界上最快的超级计算机和许多类型行业的以数据为中心的工作流使用。 有关详细信息，请参阅 https://www.lustre.org。

Azure 托管 Lustre 可节省预配、配置和管理你自己的 Lustre 文件系统的工作。 使用 Azure 门户 中的 Create 命令，可以快速部署所需大小的 Lustre 文件系统，连接客户端，并准备好使用系统。

Microsoft Azure Blob 存储 与 Azure 托管 Lustre 集成，允许指定要从 Blob 容器导入的文件供文件系统使用。 完成高性能计算作业后，可以将更改的数据导出到Azure Blob 存储，并删除 Azure 托管的 Lustre 系统。 有关详细信息，请参阅本文后面的Azure Blob 存储集成。

还可以将 Azure 托管 Lustre 文件系统与 Azure Kubernetes 服务 (AKS) 容器配合使用。 有关详细信息，请参阅 将 Azure 托管 Lustre 与 Kubernetes 配合使用。

Azure 托管 Lustre 中的数据安全性

默认情况下，Azure 中存储的所有数据都使用 Azure 托管密钥进行静态加密。 如果要管理用于加密 Azure 托管 Lustre 群集中存储的数据的密钥，请按照 Azure 磁盘存储的服务器端加密中的说明进行操作。

即使为 Lustre 磁盘添加了客户管理的密钥，Azure 托管 Lustre 文件系统中的所有信息也都受托管磁盘上的 VM 主机加密保护，这些磁盘保存数据也是如此。 添加客户管理的密钥为具有高安全需求的客户提供额外的安全级别。 有关详细信息，请参阅 Azure 磁盘存储的服务器端加密。

注意

Azure 托管 Lustre 不会将客户数据存储在部署服务实例的区域之外。

Azure 托管 Lustre 中的数据复原能力

Azure 托管 Lustre 文件系统使用 Azure 托管磁盘作为对象存储目标， (OST) 数据磁盘。

创建为“持久”文件系统类型的所有 Azure 托管 Lustre 文件系统都使用 Azure 高级 SSD (固态硬盘) 配置为本地冗余存储的磁盘， (LRS) 。 LRS 磁盘内容在本地数据中心内复制三次，以防止驱动器和服务器机架故障。

Azure 托管 Lustre 文件系统本身也通过对象存储进程（用于在这些磁盘上存储数据）来提高数据复原能力。

如果需要区域或全局数据冗余，可以将文件系统与 Azure Blob 存储 集成。 集成后，可以启动导出作业，将文件导出到具有不同长期存储冗余策略的Azure Blob 存储容器。 为存储帐户配置Azure Blob 存储冗余。 创建存储帐户时，可以选择区域数据冗余 (ZRS) 或全局数据冗余 (GRS) 。 若要详细了解 Azure 托管 Lustre 文件的数据冗余选项，请参阅 支持的存储帐户类型。

Azure Blob 存储集成

Microsoft Azure Blob 存储 与 Azure 托管 Lustre 集成，允许指定要从 Blob 容器导入的文件供文件系统使用。 Azure Blob 存储集成是 Lustre 分层存储管理 (HSM) 的应用。 无需为每个作业导入整个数据集。 相反，可以为不同的作业创建不同的文件系统，并在两次使用之间将数据存储在成本较低的 Azure Blob 容器中。 完成高性能计算作业后，可以将更改的数据导出到Azure Blob 存储，并删除 Azure 托管的 Lustre 系统。

Azure 托管 Lustre 已自定义，可与 Azure Blob 存储 无缝协作。 可以指定现有 Blob 容器，使其现有数据可从 Azure 托管 Lustre 文件系统访问，也可以指定一个空容器，该容器填充数据或用于存储输出。 设置和维护为你完成。 只需指定要使用的 Blob 容器。

如果在创建 Lustre 文件系统时集成 Azure Blob 存储，则可以使用 Lustre HSM 功能。 如果不想要 Lustre HSM 的优势，可以直接使用客户端命令导入和导出 Azure 托管 Lustre 文件系统的数据。

将 Azure 托管 Lustre 与 Kubernetes 配合使用

如果要将 Azure 托管 Lustre 存储系统与 Kubernetes 容器配合使用，可以使用适用于 Kubernetes 的 CSI) 驱动程序 (Azure Lustre 容器支持接口，该接口与 Azure Kubernetes 服务 (AKS) 兼容。 目前不支持其他类型的 Kubernetes 安装。

Kubernetes 可以简化为 Azure 托管 Lustre 工作负载配置和部署虚拟客户端终结点的过程，自动执行设置任务，例如：

  • 创建Azure Kubernetes 服务 (AKS) 用于运行 Pod 的 Azure 虚拟机规模集。
  • 在 VM 实例上加载正确的 Lustre 客户端软件。
  • 指定 Azure 托管 Lustre 装入点，并将该信息传播到客户端 Pod。

适用于 Kubernetes 的 Azure Lustre CSI 驱动程序可以自动安装客户端软件和装载驱动器。 驱动程序默认提供 CSI 控制器插件作为部署，其中包含两个副本，并提供一个 CSI 节点插件作为 DaemonSet。 可以更改副本的数量。

若要了解要使用的驱动程序版本，请参阅 兼容的 Kubernetes 版本。

后续步骤