Dela via

Landningszon för HPC

  • Artikel

Metoden Klar för Cloud Adoption Framework för Azure kan vägleda dig genom att förbereda din miljö för molnimplementering. Under beredskapsfasen kan du använda en Azure-landningszon. En landningszon är en teknisk accelerator som tillhandahåller den grundläggande byggstenen för alla molnimplementeringsmiljöer. En landningszon kan automatisera konfigurationen av din Azure-miljö, i enlighet med bästa praxis från Cloud Adoption Framework. När du förbereder dig för högpresterande databehandling (HPC) kan du stöta på miljökonfigurationer som är beroende av din branschs användningsfall och krav.

Konceptuell arkitektur för Azure-landningszoner

När du förbereder din miljö för kontinuerlig molnimplementering kan du använda en konceptuell arkitektur i Azure-landningszonen som representerar ett målsluttillstånd. För HPC finns det flera konceptuella arkitekturreferenser som baseras på de tre branscher som Cloud Adoption Framework för närvarande hanterar:

Tänk på dessa arkitekturreferenser när du utvecklar en långsiktig vision för din landningszon. Dessa referenser utgör en startpunkt. Baserat på organisationens affärskrav och slutanvändarnas behov kan du behöva ändra dem.

Utvärdering för HPC

De beslut som du fattar under strategisk konsekvensbedömning och teknisk planering påverkar konfigurationen av landningszonen som du väljer för dina HPC-distributioner i Azure. Vi rekommenderar att du överväger följande frågor:

  • Hur mogen är din miljö i Azure? Är det i konceptbeviset? Eller är det redan ett moget program som hanterar användare? Beroende på dess fas kan du inkludera eller utelämna styrning, säkerhet eller resursorganisation.
  • Är programmet som du bygger på Azure kortlivade eller ett långvarigt projekt? Svaret på den här frågan kan hjälpa dig att välja dina beräknings- och lagringsalternativ.
  • Kräver din organisation att personer får åtkomst till Azure-resurser på olika nivåer?

Som du kan se i dessa frågor varierar distributionsmodellen beroende på din verksamhet, bransch och programanvändning.

Azure-landningszonacceleration för HPC

Azure Batch och Azure CycleCloud är båda Azures förstapartstjänst medan Azure HPC OnDemand Platform (AzHOP) är en automatisering som bygger på Azure Cycle Cloud och som levererar en distributionsmekanism från slutpunkt till slutpunkt för en komplett HPC-klusterlösning i Azure.

Azure Batch

  • Batch är utformat för att köra storskaliga parallella och HPC-batchjobb effektivt i Azure.
  • Batch skapar och hanterar en pool med beräkningsnoder eller virtuella datorer . Du kan också använda Batch för att installera de program som du vill köra och schemalägga jobb som ska köras på noderna.
  • Det finns ingen programvara för kluster eller jobbschemaläggare för att installera, hantera eller skala.
  • Batch fungerar bra med verkligt parallella arbetsbelastningar. Dessa arbetsbelastningar har program som kan köras separat, där varje instans slutför en del av arbetet.
  • Du kan också använda Batch för att köra nära kopplade arbetsbelastningar, där de program som du kör måste kommunicera med varandra i stället för att köras separat.
  • Batch-uppgifter kan köras direkt på virtuella datorer eller noder i en Batch-pool. Men du kan också konfigurera en Batch-pool för att köra uppgifter i Docker-kompatibla containrar på noderna.

Azure CycleCloud

  • Den stöder olika HPC-schemaläggare, till exempel SLURM, OpenPBS, PBSPro, LSF, Grid Engine och HTCondor12.
  • Det gör att du kan etablera infrastruktur för HPC-system, till exempel virtuella datorer, skalningsuppsättningar, nätverksgränssnitt och diskar.
  • Den skalar automatiskt infrastrukturen för att köra jobb effektivt i valfri skala baserat på jobbbelastning, tillgänglighet och tidskrav.
  • Det ger ett omfattande, deklarativt, templating-format för att skapa fullständiga HPC-miljöer i Azure.
  • Den integreras med Azure-tjänster som Azure Monitor och Microsoft Cost Management-verktyg.

AzHop

  • AzHop tillhandahåller en distributionsmekanism från slutpunkt till slutpunkt för en grundläggande HPC-infrastruktur i Azure som använder CycleCloud för att orkestrera jobb.
  • Den levererar en komplett HPC-klusterlösning som är redo för användare att köra program på och som är enkel för HPC-administratörer att distribuera och hantera.
  • AzHop använder olika inbyggda program som du kan använda "som det är" eller så kan du enkelt anpassa och utöka för att uppfylla alla ouppfyllda krav.
  • Den innehåller en Open OnDemand-portal för enhetlig användaråtkomst, fjärrgränssnittsåtkomst, fjärrvisualiseringsåtkomst, jobböverföring, filåtkomst med mera.
  • Den använder Active Directory för användarautentisering och domänkontroll.
  • Den använder OpenPBS eller Simple Linux Utility for Resource Management (SLURM) som jobbschemaläggare.
  • Dynamisk resursetablering och automatisk skalning utförs av CycleCloud-förkonfigurerade jobbköer och integrerade hälsokontroller för att snabbt undvika icke-optimala noder.
  • Azure NetApp Files levererar ett delat filsystem för hemkatalogen och programmen.

Jämförelsediagram

Funktion Azure Batch Azure CycleCloud
Schemaläggare Batch-API:er och verktyg är tillgängliga. Du kan också använda molnbaserade kommandoradsskript i Azure-portalen. Du kan använda HPC-schemaläggare som SLURM, OpenPBS, PBSPro, LSF, Grid Engine och HTCondor. Eller så kan du utöka plugin-program för automatisk skalning i Azure CycleCloud så att de fungerar med din egen schemaläggare.
Beräkningsresurser SaaS-noder (Programvara som en tjänst) – Plattform som en tjänst (PaaS). PaaS-programvara – PaaS.
Övervakningsverktyg Azure Monitor. Azure Monitor och Grafana.
Anpassning Du kan använda anpassade avbildningspooler, tredjepartsbilder eller Batch API-åtkomst. Du kan använda det omfattande RESTful-API:et för att anpassa och utöka funktioner, distribuera din egen schemaläggare och stödja befintliga arbetsbelastningshanterare.
Integrering Azure Synapse Analytics-pipelines, Azure Data Factory och Azure CLI. Ett inbyggt CLI för Windows och Linux.
Användartyp Utvecklare. Klassiska HPC-administratörer och -användare.
Arbetstyp Batchar och arbetsflöden. Nära kopplade arbetsflöden som använder MPI (Message Passing Interface).
Windows-stöd Tillhandahålls. Beror på valet av schemaläggare.

Azure CycleCloud och Azure Batch är kraftfulla verktyg för HPC-uppgifter i Azure, men de är utformade för olika användningsfall.

Azure CycleCloud är ett företagsvänligt verktyg för att orkestrera och hantera HPC-miljöer i Azure. Den riktar sig till HPC-administratörer och användare som vill distribuera en HPC-miljö med en specifik schemaläggare i åtanke. Azure CycleCloud tillhandahåller kraftfulla verktyg för att skapa fullständiga HPC-miljöer i Azure, inklusive NFS-servrar (Network File Sharing), parallella filsystem, inloggningsvärdar, licensservrar och katalogtjänster. Det är användbart för organisationer som har drivit HPC-miljöer ett tag och har samlat på sig flera års expertis och interna verktyg kring en specifik schemaläggare.

Batch riktar sig däremot främst till utvecklare och team som skapar en funktion i sin egen produkt eller tjänst. Batch innehåller en egen schemaläggare och är utformad för att köra storskaliga parallella jobb effektivt utan programvara för kluster eller jobbschemaläggare. Batch är användbart när du inte behöver hantera en arbetsbelastningsschemaläggare.

Sammanfattningsvis använder du Azure CycleCloud när du vill distribuera en HPC-miljö med en specifik schemaläggare i åtanke och behöver en fullständig HPC-miljö. Använd Batch när du utvecklar en produkt eller tjänst som kräver storskalig parallell bearbetning och du inte vill hantera en arbetsbelastningsschemaläggare.

Nästa steg