Deze architectuur demonstreert het uitvoeren van simulaties van computationele vloeistofdynamica met behulp van Azure. Meer informatie over het maken, beheren en optimaliseren van clusters met behulp van Azure CycleCloud.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Werkstroom
In dit diagram ziet u een overzicht op hoog niveau van een typisch hybride ontwerp dat taakbewaking biedt voor de knooppunten op aanvraag in Azure:
- Maak verbinding met de Azure CycleCloud-server om het cluster te configureren.
- Configureer en maak het clusterhoofdknooppunt met behulp van RDMA-computers voor MPI.
- Het on-premises hoofdknooppunt toevoegen en configureren.
- Als er onvoldoende resources zijn, schaalt Azure CycleCloud de Azure-rekenresources omhoog (of omlaag). Er kan een vooraf vastgestelde limiet worden gedefinieerd om overtoewijzing te voorkomen.
- Taken worden toegewezen aan de uitvoeringsknooppunten.
- Gegevens worden in de cache opgeslagen in Azure vanaf de on-premises NFS-server.
- Gegevens worden ingelezen vanuit de Avere vFXT voor Azure-cache .
- Taak- en taakgegevens worden doorgegeven aan de Azure CycleCloud-server.
Onderdelen
- Azure CycleCloud is een hulpprogramma voor het maken, beheren, uitvoeren en optimaliseren van HPC- en Big Compute-clusters in Azure.
- Avere vFXT in Azure wordt gebruikt om een geclusterd bestandssysteem op ondernemingsniveau te bieden dat is gebouwd voor de cloud.
- Azure Virtual Machines (VM's) wordt gebruikt om een statische set rekeninstanties te maken.
- Virtuele-machineschaalsets bieden een groep identieke VM's die omhoog of omlaag kunnen worden geschaald door Azure CycleCloud.
- Azure Storage-accounts worden gebruikt voor synchronisatie en gegevensretentie.
- Met Azure Virtual Networks kunnen veel typen Azure-resources, zoals VM's, veilig met elkaar, internet en on-premises netwerken communiceren.
Alternatieven
Klanten kunnen ook Azure CycleCloud gebruiken om een raster volledig in Azure te maken. In deze installatie wordt de Azure CycleCloud-server uitgevoerd binnen uw Azure-abonnement.
Voor een moderne toepassingsbenadering waarbij beheer van een workloadplanner niet nodig is, kunt Azure Batch helpen. Azure Batch kunt grootschalige parallelle en HPC-toepassingen (High Performance Computing) efficiënt uitvoeren in de cloud. met Azure Batch kunt u de Azure-rekenresources definiëren om uw toepassingen parallel of op schaal uit te voeren zonder dat u de infrastructuur handmatig hoeft te configureren of te beheren. Azure Batch plant rekenintensieve taken en voegt dynamisch rekenresources toe en verwijdert deze op basis van uw vereisten.
Scenariodetails
Cfd-simulaties (Computational Fluid Dynamics) vereisen aanzienlijke rekentijd, samen met gespecialiseerde hardware. Naarmate het clustergebruik toeneemt, nemen de simulatietijden en het totale netwerkgebruik toe, wat leidt tot problemen met reservecapaciteit en lange wachtrijtijden. Het toevoegen van fysieke hardware kan duur zijn en is mogelijk niet afgestemd op de gebruikspieken en -dalen die een bedrijf doormaakt. Door te profiteren van Azure, kunnen veel van deze uitdagingen worden opgelost zonder kapitaaluitgaven.
Azure biedt de hardware die u nodig hebt om uw CFD-taken uit te voeren op zowel GPU- als CPU-vm's. VM-grootten waarvoor RDMA (Remote Direct Memory Access) is ingeschakeld, hebben FDR InfiniBand-netwerken, waardoor MPI-communicatie met lage latentie (Message Passing Interface) mogelijk is. Wanneer u deze oplossingen combineert met de Avere vFXT, die een geclusterd bestandssysteem op ondernemingsniveau biedt, kunnen klanten zorgen voor maximale doorvoer voor leesbewerkingen in Azure.
Om het maken, beheren en optimaliseren van HPC-clusters te vereenvoudigen, kan Azure CycleCloud worden gebruikt voor het inrichten van clusters en het organiseren van gegevens in zowel hybride als cloudscenario's. Wanneer u de in behandeling zijnde taken bewaakt, start CycleCloud automatisch berekeningen op aanvraag, waarbij u alleen betaalt voor wat u gebruikt, verbonden met de workloadplanner van uw keuze.
Potentiële gebruikscases
Andere relevante branches voor CFD-toepassingen zijn:
- Luchtvaart en lucht- en ruimtevaart/vliegtuigen
- Auto's
- Hvac van gebouw (faciliteiten)
- Olie en gas (energie)
- Biowetenschappen en gezondheidszorg
Overwegingen
Deze overwegingen implementeren de pijlers van het Azure Well-Architected Framework, een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
Schaalbaarheid en beveiliging
Het schalen van de knooppunten in Azure CycleCloud kan handmatig worden uitgevoerd of met behulp van automatisch schalen. Zie CycleCloud Autoscaling (Automatisch schalen van CycleCloud) voor meer informatie.
Zie de Azure-beveiligingsdocumentatie voor algemene richtlijnen voor het ontwerpen van veilige oplossingen.
Kostenoptimalisatie
Kostenoptimalisatie gaat over het zoeken naar manieren om onnodige kosten te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.
De kosten voor het uitvoeren van een HPC-implementatie met behulp van de CycleCloud-server variëren, afhankelijk van een aantal factoren. CycleCloud wordt bijvoorbeeld in rekening gebracht op basis van de hoeveelheid rekentijd die wordt gebruikt, waarbij de Primaire en CycleCloud-server doorgaans constant worden toegewezen en worden uitgevoerd. De kosten voor het uitvoeren van de Execute-knooppunten zijn afhankelijk van hoe lang deze actief zijn en welke grootte wordt gebruikt. De normale Azure-kosten voor opslag en netwerken zijn ook van toepassing.
Dit scenario laat zien hoe CFD-toepassingen kunnen worden uitgevoerd in Azure, zodat de machines RDMA-functionaliteit vereisen, die alleen beschikbaar is op specifieke VM-grootten. Hier volgen enkele voorbeelden van kosten die kunnen worden gemaakt voor een schaalset die gedurende één maand gedurende acht uur per dag continu wordt toegewezen, met een gegevensuitgang van 1 TB. Het bevat ook prijzen voor de Azure CycleCloud-server en de installatie van Avere vFXT voor Azure:
- Regio: Europa - noord
- Azure CycleCloud Server: 1 x Standard D3 (4 x CPU's, 14 GB geheugen, Standard HDD 32 GB)
- Azure CycleCloud Primary Server: 1 x Standard D12 v (4 x CPU's, 28 GB geheugen, Standard HDD 32 GB)
- Azure CycleCloud Node Array: 10 x Standard H16r (16 x CPU's, 112 GB geheugen)
- Avere vFXT op Azure Cluster: 3 x D16s v3 (200 GB OS, Premium SSD 1 TB gegevensschijf)
- Uitgaande gegevens: 1 TB
Bekijk deze prijsschatting voor de hierboven vermelde hardware.
Dit scenario implementeren
Vereisten
Volg deze stappen voordat u de sjabloon Resource Manager implementeert:
Maak een service-principal voor het ophalen van de appId, displayName, naam, wachtwoord en tenant.
Genereer een SSH-sleutelpaar om u veilig aan te melden bij de CycleCloud-server.
Klik op de onderstaande koppeling om de oplossing te implementeren.
Meld u aan bij de CycleCloud-server om een nieuw cluster te configureren en te maken.
De Avere-cache is een optionele oplossing die de leesdoorvoer voor de gegevens van de toepassingstaak drastisch kan verhogen. Avere vFXT voor Azure lost het probleem op van het uitvoeren van deze ZAKELIJKE HPC-toepassingen in de cloud, waarbij gebruik wordt gemaakt van gegevens die on-premises of in Azure Blob Storage zijn opgeslagen.
Voor organisaties die een hybride infrastructuur plannen met zowel on-premises opslag als cloud-computing, kunnen HPC-toepassingen 'bursten' in Azure met behulp van gegevens die zijn opgeslagen op NAS-apparaten en naar behoefte virtuele CPU's maken. De gegevensset wordt nooit volledig verplaatst naar de cloud. De aangevraagde bytes worden tijdens de verwerking tijdelijk in de cache opgeslagen met behulp van een Avere-cluster.
Als u een Avere vFXT-installatie wilt instellen en configureren, volgt u de installatie- en configuratiehandleiding voor Avere.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzenders.
Hoofdauteur:
- Mike Warrington - Nederland | FastTrack voor Azure-engineer
Volgende stappen
Productdocumentatie:
- Wat is Azure CycleCloud?
- Azure Virtual Machines (VM's)
- Kennismaking met Azure Storage
- Wat is Azure Virtual Network?
Zie de volgende artikelen over virtuele machines: