HC シリーズの仮想マシンの概要HC-series virtual machine overview

Intel Xeon スケーラブル プロセッサで HPC アプリケーションのパフォーマンスを最大限に引き出すには、この新しいアーキテクチャにプロセスを配置する慎重なアプローチが必要です。Maximizing HPC application performance on Intel Xeon Scalable Processors requires a thoughtful approach to process placement on this new architecture. ここでは、HPC アプリケーション用の Azure HC シリーズ VM への実装の概要を説明します。Here, we outline our implementation of it on Azure HC-series VMs for HPC applications. 物理 NUMA ドメインを指して "pNUMA" という用語を、また仮想化 NUMA ドメインを指して "vNUMA" を使用します。We will use the term “pNUMA” to refer to a physical NUMA domain, and “vNUMA” to refer to a virtualized NUMA domain. 同様に、CPU コアを指して "pCore" という用語を、仮想化 CPU コアを指して "仮想コア" という用語を使用します。Similarly, we will use the term “pCore” to refer to physical CPU cores, and “vCore” to refer to virtualized CPU cores.

物理的には、HC シリーズのサーバーは 2 * 24 コアの Intel Xeon Platinum 8168 CPU で合計 48 個の物理コアです。Physically, an HC-series server is 2 * 24-core Intel Xeon Platinum 8168 CPUs for a total of 48 physical cores. 各 CPU は 1 つの pNUMA ドメインであり、6 チャネルの DRAM に統一されたアクセス権を持っています。Each CPU is a single pNUMA domain, and has unified access to six channels of DRAM. Intel Xeon Platinum CPU は、以前の世代よりも 4 倍大きい L2 キャッシュ (256 KB/コア -> 1 MB/コア) を備えていると同時に、以前の Intel CPU (2.5 MB/コア -> 1.375 MB/コア) と比較して L3 キャッシュも削減します。Intel Xeon Platinum CPUs feature a 4x larger L2 cache than in prior generations (256 KB/core -> 1 MB/core), while also reducing the L3 cache compared to prior Intel CPUs (2.5 MB/core -> 1.375 MB/core).

上記のトポロジは、HC シリーズのハイパーバイザー構成にも引き継がれます。The above topology carries over to the HC-series hypervisor configuration as well. Azure ハイパーバイザーが VM に干渉せずに動作する余地を確保するために、pCore 0-1 および 24-25 (つまり、各ソケットの最初の 2 つの pCore) を予約します。To provide room for the Azure hypervisor to operate without interfering with the VM, we reserve pCores 0-1 and 24-25 (that is, the first 2 pCores on each socket). 次に、pNUMA ドメインの残りのすべてのコアを VM に割り当てます。We then assign pNUMA domains all remaining cores to the VM. そのため、VM では以下が認識されます。Thus, the VM will see:

VM あたり (2 vNUMA domains) * (22 cores/vNUMA) = 44 コア(2 vNUMA domains) * (22 cores/vNUMA) = 44 cores per VM

VM は、pCore 0-1 と 24-25 が与えられていないことを認識していません。The VM has no knowledge that pCores 0-1 and 24-25 weren't given to it. そのため、ネイティブに 22 個のコアがあるかのように各 vNUMA が公開されています。Thus, it exposes each vNUMA as if it natively had 22 cores.

Intel Xeon Platinum、Gold、および Silver の CPU は、CPU ソケット内外と通信するためのオンダイ 2D メッシュ ネットワークも導入しています。Intel Xeon Platinum, Gold, and Silver CPUs also introduce an on-die 2D mesh network for communication within and external to the CPU socket. 最適なパフォーマンスと一貫性のために、プロセス固定を強くお勧めします。We strongly recommend process pinning for optimal performance and consistency. 基になるシリコンはそのままゲスト VM に公開されるため、プロセス固定は HC シリーズ VM で機能します。Process pinning will work on HC-series VMs because the underlying silicon is exposed as-is to the guest VM.

次の図は、Azure Hypervisor と HC シリーズ VM 用に予約されているコアの分離を示しています。The following diagram shows the segregation of cores reserved for Azure Hypervisor and the HC-series VM.

Azure Hypervisor と HC シリーズ VM 用に予約されているコアの分離

ハードウェア仕様Hardware specifications

ハードウェア仕様Hardware Specifications HC シリーズ VMHC-series VM
コアCores 44 (HT 無効)44 (HT disabled)
CPUCPU Intel Xeon Platinum 8168Intel Xeon Platinum 8168
CPU 周波数 (非 AVX)CPU Frequency (non-AVX) 3.7 GHz (シングル コア)、2.7-3.4 GHz (すべてのコア)3.7 GHz (single core), 2.7-3.4 GHz (all cores)
メモリMemory 8 GB/コア (合計 352)8 GB/core (352 total)
ローカル ディスクLocal Disk 700 GB SSD700 GB SSD
InfinibandInfiniband 100 Gb EDR Mellanox ConnectX-5100 Gb EDR Mellanox ConnectX-5
ネットワークNetwork 50 GB イーサネット (40 GB 使用可能) Azure 第 2 世代 SmartNIC50 Gb Ethernet (40 Gb usable) Azure second Gen SmartNIC

ソフトウェア仕様Software specifications

ソフトウェア仕様Software Specifications HC シリーズ VMHC-series VM
最大 MPI ジョブ サイズMax MPI Job Size 13200 コア (1 つの仮想マシン スケール セットに 300 台の VM、singlePlacementGroup=true)13200 cores (300 VMs in a single virtual machine scale set with singlePlacementGroup=true)
MPI のサポートMPI Support HPC-X、Intel MPI、OpenMPI、MVAPICH2、MPICH、Platform MPIHPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI
その他のフレームワークAdditional Frameworks Unified Communication X、libfabric、PGASUnified Communication X, libfabric, PGAS
Azure Storage のサポートAzure Storage Support Standard および Premium ディスク (最大 4 ディスク)Standard and Premium Disks (maximum 4 disks)
SRIOV RDMA の OS サポートOS Support for SRIOV RDMA CentOS/RHEL 7.6 以降、SLES 12 SP4 以降、WinServer 2016 以降CentOS/RHEL 7.6+, SLES 12 SP4+, WinServer 2016+
Orchestrator のサポートOrchestrator Support CycleCloud、BatchCycleCloud, Batch

次のステップNext steps