Översikt över virtuella datorer i HB-serienHB-series virtual machines overview

Att maximera prestanda för hög prestanda beräkning (HPC) i AMD EPYC kräver en metod för att lokalisera minnes utrymme och processer på ett genomtänkt sätt.Maximizing high performance compute (HPC) application performance on AMD EPYC requires a thoughtful approach memory locality and process placement. Nedan ska vi disponera AMD EPYC-arkitekturen och vår implementering av IT på Azure för HPC-program.Below we outline the AMD EPYC architecture and our implementation of it on Azure for HPC applications. Vi kommer att använda termen "pNUMA" för att referera till en fysisk NUMA-domän och "vNUMA" för att referera till en virtualiserad NUMA-domän.We will use the term “pNUMA” to refer to a physical NUMA domain, and “vNUMA” to refer to a virtualized NUMA domain.

Fysiskt, en HB-serie Server är 2 * 32 kärnor EPYC 7551 CPU: er för totalt 64 fysiska kärnor.Physically, an HB-series server is 2 * 32-core EPYC 7551 CPUs for a total of 64 physical cores. Dessa 64 kärnor är indelade i 16 pNUMA-domäner (8 per socket) som är fyra kärnor och kallas "processor komplex" (eller "CCX").These 64 cores are divided into 16 pNUMA domains (8 per socket), each of which is four cores and known as a “CPU Complex” (or “CCX”). Varje CCX har sin egen L3-cache, vilket är hur ett operativ system kommer att se en pNUMA/vNUMA-gränsen.Each CCX has its own L3 cache, which is how an OS will see a pNUMA/vNUMA boundary. Ett par intilliggande CCXs delar åtkomst till två kanaler av fysiskt DRAM (32 GB RAM-minnen i HB-serie servrar).A pair of adjacent CCXs shares access to two channels of physical DRAM (32 GB of DRAM in HB-series servers).

För att ge plats för Azure-hypervisorn att fungera utan att störa den virtuella datorn, reservera vi fysisk pNUMA-domän 0 (den första CCX-datorn).To provide room for the Azure hypervisor to operate without interfering with the VM, we reserve physical pNUMA domain 0 (the first CCX). Sedan tilldelar vi pNUMA-domäner 1-15 (återstående CCX-enheter) för den virtuella datorn.We then assign pNUMA domains 1-15 (the remaining CCX units) for the VM. Den virtuella datorn visas:The VM will see:

(15 vNUMA domains) * (4 cores/vNUMA) = 60 kärnor per virtuell dator(15 vNUMA domains) * (4 cores/vNUMA) = 60 cores per VM

Den virtuella datorn vet inte att pNUMA 0 har tilldelats den.The VM, itself, doesn't know that pNUMA 0 wasn't given to it. Den virtuella datorn förstår pNUMA 1-15 som vNUMA 0-14, med 7 vNUMA på vSocket 0 och 8 vNUMA på vSocket 1.The VM understands pNUMA 1-15 as vNUMA 0-14, with 7 vNUMA on vSocket 0 and 8 vNUMA on vSocket 1. Även om detta är asymmetriskt bör operativ systemet starta och fungerar normalt.While this is asymmetrical, your OS should boot and operate normally. Senare i den här hand boken beskriver vi hur du bäst kör MPI-program på den här asymmetriska NUMA-layouten.Later in this guide, we instruct how best to run MPI applications on this asymmetric NUMA layout.

Process fästning fungerar på virtuella datorer i HB-serien eftersom vi exponerar den underliggande kiseln som-är till den virtuella gäst datorn.Process pinning will work on HB-series VMs because we expose the underlying silicon as-is to the guest VM. Vi rekommenderar starkt att du ska fästa processen för optimala prestanda och konsekvens.We strongly recommend process pinning for optimal performance and consistency.

Följande diagram visar ansvars fördelning av kärnor som är reserverade för Azure hypervisor och den virtuella HB-serien.The following diagram shows the segregation of cores reserved for Azure Hypervisor and the HB-series VM.

Uppdelning av kärnor som är reserverade för Azure hypervisor och HB-serien VM

MaskinvaruspecifikationerHardware specifications

Specifikationer för maskin varaHardware Specifications Virtuell dator i HB-serienHB-series VM
KärnorCores 60 (SMT inaktive rad)60 (SMT disabled)
ProcessorCPU AMD EPYC 7551AMD EPYC 7551
CPU-frekvens (icke-AVX)CPU Frequency (non-AVX) ~ 2,55 GHz (enkel + alla kärnor)~2.55 GHz (single + all cores)
MinneMemory 4 GB/kärna (totalt 240 GB)4 GB/core (240 GB total)
Lokal diskLocal Disk 700 GB SSD700 GB SSD
InfiniBandInfiniband 100 GB EDR Mellanox ConnectX-5100 Gb EDR Mellanox ConnectX-5
NätverkNetwork 50 GB Ethernet (40 GB kan användas) Azure andra gen SmartNIC50 Gb Ethernet (40 Gb usable) Azure second Gen SmartNIC

ProgramspecifikationerSoftware specifications

ProgramspecifikationerSoftware Specifications Virtuell dator i HB-serienHB-series VM
Maximal jobb storlek för MPIMax MPI Job Size 18000 kärnor (300 virtuella datorer i en skalnings uppsättning för en virtuell dator med singlePlacementGroup = true)18000 cores (300 VMs in a single virtual machine scale set with singlePlacementGroup=true)
MPI-stödMPI Support HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPIHPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI
Ytterligare ramverkAdditional Frameworks UCX, libfabric, PGASUCX, libfabric, PGAS
Azure Storage supportAzure Storage Support Standard-och Premium-diskar (högst 4 diskar)Standard and Premium Disks (maximum 4 disks)
OS-stöd för IOV RDMAOS Support for SRIOV RDMA CentOS/RHEL 7.6 +, Ubuntu 16.04 +, SLES 12 SP4 +, WinServer 2016 +CentOS/RHEL 7.6+, Ubuntu 16.04+, SLES 12 SP4+, WinServer 2016+
Stöd för OrchestratorOrchestrator Support CycleCloud, batch, AKS; kluster konfigurations alternativCycleCloud, Batch, AKS; cluster configuration options

Nästa stegNext steps