Microsoft HPC Pack

  • Artikel

Microsoft HPC Pack är en kostnadsfri HPC-lösning som bygger på Microsoft Azure med Windows Server-tekniker och stöder en mängd olika HPC-arbetsbelastningar. På den här sidan beskrivs funktionerna och konfigurationsinformationen för HPC Pack-integrering med Cyclecloud.

Begränsningar och versioner som stöds

Microsoft HPC Pack 2016 (med uppdatering 3) och Microsoft HPC Pack 2019 stöds i CycleCloud med följande begränsningar:

  • Klustret måste skapas i en Active Directory-domän.
  • Klustret kan bara innehålla en enda huvudnod.
  • Hög tillgänglighet på huvudnoden stöds inte ännu.
  • Anpassning av vm-avbildningar för huvudnoder stöds inte.
  • Linux-beräkningsnoder stöds inte ännu.
  • Huvudnoden kräver utgående Internetåtkomst för att ladda ned Nuget-binär och Python3.
  • CLI- och cloud-init-konfiguration stöds inte ännu.

Förutsättningar

Active Directory-domän

För närvarande måste alla HPC Pack-noder vara anslutna till en Active Directory-domän. Om du distribuerar HPC Pack-klustret i ett virtuellt nätverk som har en PLATS-till-plats-VPN- eller ExpressRoute-anslutning till företagets nätverk finns det vanligtvis redan en befintlig Active Directory-domän. Om du inte har någon AD-domän i ditt virtuella nätverk ännu kan du välja att skapa en ny AD-domän genom att befordra huvudnoden som domänkontrollant.

Azure Key Vault

Microsoft HPC Pack kräver ett PFX-certifikat för att skydda nodkommunikationen, och det kräver även autentiseringsuppgifter för AD-domänanvändare för att ansluta noderna till AD-domänen. Du kan ange en PFX-fil, ett skyddslösenord och ett användarlösenord direkt i mallen, men vi rekommenderar starkt att du använder Azure Key Vault för säker hantering av certifikatet och användarlösenordet. Se Skapa ett Azure Key Vault-certifikat.

Klustret kräver också användarnamn och lösenord för ett AD-administratörskonto för att ansluta noder till domänen när de skapas. Vi rekommenderar starkt att du använder Azure Key Vault.

Azure-användartilldelad hanterad identitet

För att kunna använda Azure Key Vault för certifikatet och autentiseringsuppgifterna måste du skapa en Azure-användartilldelad hanterad identitet och bevilja Get-behörighet för både Hemlighet och Certifikat för Azure-Key Vault.

Du kan läsa den här Key Vault självstudien för att skapa din Key Vault och en hanterad identitet med Key Vault åtkomst.

Vi rekommenderar att du använder Azure Role-Based Access Control för att tilldela Key Vault behörigheter till den hanterade identiteten.

HPC Pack-nodroller

Det finns tre olika nodroller i HPC Pack-klustret:

  • Huvudnod: Tillhandahåller tjänster för klusterhantering och jobbschemaläggning. För närvarande stöds endast en enda huvudnod med lokala databaser.
  • Asynkron nod: Tar emot begäranden från en SOA-klient, distribuerar dem till tjänstvärdarna på beräkningsnoderna och samlar sedan in svar och skickar tillbaka dem till klienten. Asynkrona noder skapas i koordinatornodmatrisen. Du måste skapa asynkrona noder om du vill köra en SOA-arbetsbelastning i klustret.
  • Beräkningsnod: Accepterar och kör klusterjobb. Beräkningsnoderna skapas i nodmatrisen cn .

Skapa ett nytt HPC Pack-kluster

Du kan klicka på Microsoft HPC Pack-ikonen under Schemaläggare för att skapa ett nytt Microsoft HPC Pack-kluster.

På sidan Om anger du ett unikt klusternamn för klustret eftersom det kommer att användas som NetBIOS-datornamnet för huvudnoden, kontrollera att det är unikt i AD-domänen och uppfyller namngivningskonventionerna.

Grundläggande inställningar

  • HPC Pack-version: Du kan välja HPC Pack 2019 eller HPC Pack 2016 (med uppdatering 3). Vi rekommenderar att du använder den senaste HPC Pack-versionen, t.ex. HPC Pack 2019.
  • Virtual Machines: Du kan välja den Azure-region där du vill skapa HPC Pack-klustret och VM-typen för varje klusternodroll. Du kan också ange Num. Brokers för att skapa en eller flera Broker-noder om du vill köra SOA-arbetsbelastningar i klustret.

Automatisk skalning

Klustret startas utan några beräkningsnoder. Du kan aktivera autoskalning för att automatiskt skala upp/ned beräkningsnoderna beroende på klusterarbetsbelastningarna. Du kan använda Max Cores för att ange det maximala antalet beräknings-vCPU-kärnor i klustret. Autoskalningen körs varje minut som en schemalagd Windows-aktivitet på huvudnoden.

Det finns två skalningsalternativ för beräkningsnoder: Frigör eller Avsluta. Om du väljer alternativet Avsluta tar HPC Pack-klustret alltid bort de virtuella datorerna för beräkningsnoden vid nedskalning. Om du väljer alternativet Frigör frigör frigör HPC Pack-klustret de virtuella datorerna för beräkningsnoden på nedskalning och underhåller dem i upp till ett konfigurerbart antal dagar (VM-kvarhållningsdagar). De frigjorda beräkningsnoderna tas inte bort från HPC Pack-klustret så länge de fortfarande behålls. De tas dock offline och visas som oåtkomliga i HPC Pack-klustret. Alternativet Frigör rekommenderas för HPC Pack-klustret eftersom det avsevärt kan minska tiden för nodförberedelse vid uppskalning och du bara betalar för disklagringen för de frigjorda virtuella datorerna.

Infrastrukturinställningar

  • Virtual Network: Du kan välja ett befintligt virtuellt nätverk och undernät där HPC Pack-klustret ska skapas.
  • Active Directory-domän: Om det redan finns en AD-domän i det virtuella nätverket anger du det fullständiga domännamnet och organisationsenhetssökvägen där klusternoderna ska anslutas. Eller välj Ny AD-domän för att skapa en ny AD-domän genom att befordra huvudnoden som en domänkontrollant.
  • Hemligheter och certifikat: Vi rekommenderar starkt att du väljer Använd KeyVault för att använda Azure Key Vault för att skicka nodkommunikationscertifikatet och användarlösenordet. I MSI Identity väljer du Azure User Assigned Identity (Azure User Assigned Identity) som du skapade i Krav i listrutan och anger det Azure Key Vault-namn som skapades i Krav.
  • Användarautentiseringsuppgifter: I Användarnamn anger du domännamnet. I Lösenordshemlighet anger du det Azure-Key Vault hemliga namn som du skapade i Krav för att lagra domänanvändarlösenordet.
  • PFX-certifikat: I Certifikatnamn anger du det Azure-Key Vault certifikatnamn som du skapade i Krav.

Avancerade inställningar

  • Azure-inställningar: Välj autentiseringsuppgifter för Azure-molnet i listrutan.
  • Klusterprogramvara: Ange operativsystemet (OS) för varje klusternodroll.
  • Avancerat nätverk: Som standard tillämpas DNS-servrarna som konfigurerats i det virtuella nätverket på alla HPC-noder. Du kan också ange DNS-server om du vill använda en annan DNS-server. Du kan också välja offentlig IP-adress för HN för att tilldela en offentlig IP-adress för huvudnoden.

azhpcpack CLI

azhpcpack.ps1 CLI är huvudgränssnittet för alla autoskalningsbeteenden (schemalagd aktivitet anropar azhpcpack.ps1 autoscale). CLI är tillgängligt i C:\cycle\hpcpack-autoscaler\bin)

CLI kan användas för att diagnostisera problem med automatisk skalning eller för att manuellt styra klusterskalning inifrån huvudnoden.

Kommando Beskrivning
autoskalning Autoskalningsprocess från slutpunkt till slutpunkt, inklusive skapande, borttagning och sammanfogning av noder.
Hinkar Skriver ut bucketinformation för automatisk skalning, t.ex. gränser osv.
config Skriver den effektiva autoskalningskonfigurationen efter eventuell förbearbetning till stdout
create_nodes Skapa en uppsättning noder med olika begränsningar. En CLI-version av nodemanager-gränssnittet.
default_output_columns Mata ut vad som är standardutdatakolumnerna för ett valfritt kommando.
delete_nodes Ta bort noden och ta bort från klustret.
initconfig Skapar en första autoskalningskonfiguration. Skriver till stdout.
Gränser Skriver en detaljerad uppsättning gränser för varje bucket. Standardvärdet är json på grund av antalet fält.
Noder Frågenoder.
refresh_autocomplete Uppdaterar lokal automatisk kompletteringsinformation för klusterspecifika resurser och noder.
retry_failed_nodes Försöker igen med alla noder i ett feltillstånd.
validate_constraint Validerar sedan utdata som JSON en eller flera begränsningar.