Met de term Big Compute worden grootschalige workloads bedoeld waarvoor een groot aantal kerngeheugens nodig is, vaak wel honderden of zelfs duizenden. Mogelijke scenario's zijn onder andere: afbeeldingenweergave, vloeistofdynamica, het maken van financiële risicomodellen, geneesmiddelenontwerp en analyse van technische belasting.
Hier volgen enkele typische kenmerken van Big Compute-toepassingen:
- Het werk kan worden opgesplitst in afzonderlijke taken die tegelijkertijd kunnen worden uitgevoerd op meerdere kerngeheugens.
- Elke taak heeft een einde. Een taak bestaat uit het opnemen van invoergegevens, het verwerken ervan, en vervolgens het produceren van uitvoergegevens. De hele toepassing wordt gedurende een eindige tijdsperiode uitgevoerd (van minuten tot dagen). Een veelvoorkomend patroon is om een groot aantal kerngeheugens tegelijk in te richten, en dit af te bouwen naar 0 zodra de toepassing klaar is.
- De toepassing hoeft niet 24/7 actief te zijn. Het systeem moet echter wel reageren op knooppuntfouten of op het vastlopen van de toepassing.
- Bij sommige toepassingen zijn de taken onafhankelijk, en deze kunnen parallel worden uitgevoerd. In andere gevallen zijn de taken nauw verbonden. Dit betekent dat ze onderling moeten kunnen communiceren of resultaten kunnen uitwisselen. Overweeg in dit geval om gebruik te maken van snelle netwerktechnologieën zoals InfiniBand en RDMA (Remote Direct Memory Access).
- Afhankelijk van de workload kunt u rekenintensieve VM-grootten gebruiken (H16r, H16mr en A9).
Wanneer gebruikt u deze architectuur?
- Voor rekenintensieve bewerkingen zoals simulatie en het verwerken van lange reeksen cijfers.
- Voor rekenintensieve simulaties die moeten worden verdeeld over CPU's op meerdere computers (van tientallen tot duizenden).
- Voor simulaties waarvoor te veel geheugen is vereist voor één computer, en die daarom moeten worden verdeeld over meerdere computers.
- Voor langlopende berekeningen die te lang duren om te worden uitgevoerd op één computer.
- Voor kleinere berekeningen die honderden of zelfs duizenden keren moeten worden uitgevoerd, zoals Monte Carlo-simulaties.
Vergoedingen
- Hoge prestaties met verwerken op perfect parallel niveau.
- Mogelijkheid om honderden of duizenden kerngeheugens te gebruiken zodat u grote problemen sneller kunt oplossen.
- Toegang tot gespecialiseerde krachtige hardware, met toegewijde InfiniBand-netwerken met hoge snelheid.
- U kunt zoveel VM’s inrichten als u nodig hebt om de klus te klaren, en deze later weer verwijderen.
Uitdagingen
- Beheren van de VM-infrastructuur.
- Het volume van het aantal crunching beheren
- Tijdig inrichten van duizenden kerngeheugens.
- Toevoegen van meer kerngeheugens bij nauw verbonden taken kan het aantal resultaten verminderen. U moet mogelijk wat experimenteren om uit te vinden wat het optimale aantal kerngeheugens is.
Big Compute met behulp van Azure Batch
Azure Batch is een beheerde service voor het uitvoeren van grootschalige HPC-toepassingen (High Performance Computing).
Met behulp van Azure Batch kunt u een VM-pool configureren, en de toepassingen en gegevensbestanden uploaden. Met de Batch-service wordt vervolgens de VM ingericht, worden taken toegewezen aan de VM’s, en wordt de voortgang gecontroleerd. Batch kan de virtuele machines automatisch uitschalen als reactie op de workload. Batch biedt ook taakplanning.
Big Compute uitvoeren op virtuele machines
U kunt Microsoft HPC Pack gebruiken om een cluster met VM’s te beheren, en om HPC-taken te plannen en te controleren. Met deze methode moet u de VM’s en netwerkinfrastructuur inrichten en beheren. Overweeg deze methode te gebruiken als u bestaande HPC-workloads hebt en deze geheel of gedeeltelijk wilt overbrengen naar Azure. U kunt het hele HPC-cluster verplaatsen naar Azure of u kunt uw HPC-cluster on-premises houden, maar Azure gebruiken voor burst-capaciteit. Zie Batch and HPC solutions for large-scale computing workloads (Batch- en HPC-oplossingen voor grootschalige rekenworkloads) voor meer informatie.
HPC Pack geïmplementeerd in Azure
In dit scenario wordt het HPC-cluster volledig in Azure gemaakt.
Het hoofdknooppunt biedt het cluster services voor beheer en taakplanning. Gebruik voor nauw verbonden taken een RDMA-netwerk. Dit biedt een zeer hoge bandbreedte en een lage latentie bij de communicatie tussen VM’s. Zie Een HPC Pack 2016-cluster implementeren in Azure voor meer informatie.
Een HPC-cluster uitbreiden naar Azure
In dit scenario wordt in een organisatie HPC Pack on-premises uitgevoerd, en worden virtuele Azure-machines gebruikt om de capaciteit uit te breiden. Het hoofdknooppunt van het cluster bevindt zich on-premises. Het on-premises netwerk wordt via ExpressRoute of VPN Gateway verbonden met Azure VNet.
