Vysokovýkonné výpočetní prostředí (HPC) v Azure

  • Článek

Seznámení s prostředím HPC

Vysokovýkonné výpočetní prostředí (HPC), označované také jako "velký výpočetní výkon", využívá k řešení složitých matematických úloh velký počet počítačů založených na procesoru nebo GPU.

Řada odvětví pomocí prostředí HPC řeší některé ze svých nejobtížnějších problémů. Mezi řešené úlohy patří:

  • Genomics
  • Simulace v petrochemii
  • Finance
  • Návrh polovodičů
  • Technický
  • Modelování počasí

Jak se prostředí HPC liší v cloudu?

Jedním z hlavních rozdílů mezi místním systémem HPC a jedním v cloudu je schopnost dynamicky přidávat a odebírat prostředky podle potřeby. Pomocí dynamického škálování není výpočetní kapacita kritickým místem a zákazníci mohou naopak přizpůsobit velikost infrastruktury požadavkům svých úloh.

Následující články poskytují o této funkci dynamického škálování další podrobnosti.

Kontrolní seznam pro implementaci

Pokud se chystáte implementovat vlastní řešení HPC v Azure, zkontrolujte, že jste si přečetli následující témata:

  • Volba odpovídající architektury na základě vašich požadavků
  • Znalost nejvhodnější výpočetní možnosti pro vaše úlohy
  • Identifikace správného řešení úložiště vyhovujícího vašim potřebám
  • Rozhodnutí o způsobu správy všech vašich prostředků
  • Optimalizace vaší aplikace pro cloud
  • Zabezpečení vaší infrastruktury

Infrastruktura

Existuje mnoho komponent infrastruktury, které jsou nezbytné k vytvoření systému HPC. Výpočetní prostředky, úložiště a sítě poskytují základní komponenty bez ohledu na to, jak se rozhodnete spravovat úlohy prostředí HPC.

Příklady architektur HPC

Existuje mnoho různých způsobů návrhu a implementace architektury PROSTŘEDÍ HPC v Azure. Aplikace prostředí HPC se mohou škálovat na tisíce výpočetních jader, rozšiřovat místní clustery nebo se spouštět ve formě řešení, které je 100% nativní pro cloud.

Následující scénáře popisují několik z běžných způsobů, jak se řešení HPC sestavují.

  • Diagram znázorňuje ukázkovou architekturu PROSTŘEDÍ HPC pro technické služby s podporou počítačů v Azure.

    Služby CAE (Computer-Aided Engineering) v Azure

    Poskytněte platformu softwaru jako služby (SaaS) pro CAE (Computer-Aided Engineering ) v Azure.

  • Diagram znázorňuje ukázkovou architekturu PROSTŘEDÍ HPC pro simulace výpočetní dynamiky tekutin v Azure.

    Simulace CDF (Computational Fluid Dynamics) v Azure

    Využijte možnost spouštět simulace CDF (Computational Fluid Dynamics) v Azure.

  • Diagram znázorňuje ukázkovou architekturu PROSTŘEDÍ HPC pro vykreslování 3D videí v Azure.

    Vykreslování 3D videa v Azure

    Spouštění nativních úloh HPC v Azure s využitím služby Azure Batch

Compute

Azure nabízí širokou škálu velikostí, které jsou optimalizované pro úlohy náročné na CPU a GPU.

Virtuální počítače založené na CPU

Virtuální počítače s podporou GPU

Virtuální počítače řady N jsou vybavené grafickými procesory NVIDIA pro aplikace náročné na výpočetní nebo grafický výkon, včetně vizualizací a učení umělé inteligence (AI).

Úložiště

Úlohy Batch a HPC ve velkém měřítku mají požadavky na úložiště dat a přístup, které přesahují možnosti tradičních cloudových systémů souborů. Existuje mnoho řešení, která spravují rychlost i kapacitu aplikací HPC v Azure:

Další informace o porovnání Lustre, GlusterFS a BeeGFS v Azure najdete v elektronické knize Parallel Files Systems v Azure a na blogu Lustre v Azure .

Sítě

Virtuální počítače H16r, H16mr, A8 a A9 se můžou připojit k back-endové síti RDMA s vysokou propustností. Tato síť může zlepšit výkon úzce propojených paralelních aplikací spuštěných v rámci rozhraní Microsoft Message Passing Interface, který se označuje jako MPI nebo Intel MPI.

Správa

Udělej si sám

Vytvoření systému PROSTŘEDÍ HPC od nuly v Azure nabízí značnou flexibilitu, ale často je velmi náročná na údržbu.

  1. Nastavte si vlastní prostředí clusteru ve virtuálních počítačích Azure nebo škálovacích sadách virtuálních počítačů.
  2. Použijte šablony Azure Resource Manageru k nasazení špičkových správců úloh, infrastruktury a aplikací.
  3. Zvolte velikosti virtuálních počítačů HPC a GPU, které zahrnují specializovaný hardware a síťová připojení pro úlohy MPI nebo GPU.
  4. Přidejte vysoce výkonné úložiště pro úlohy náročné na vstupně-výstupní operace.

Hybridní a cloudové shlukování

Pokud máte existující místní systém HPC, který chcete připojit k Azure, máte k dispozici několik zdrojů informací, které vám pomůžou začít.

Nejprve si přečtěte článek o možnostech pro připojení místní sítě k Azure v dokumentaci. Tady najdete další informace o těchto možnostech připojení:

Jakmile se bezpečně naváže připojení k síti, můžete začít používat cloudové výpočetní prostředky na vyžádání s funkcemi shlukování vašeho existujícího správce úloh.

Řešení na Marketplace

Azure Marketplace nabízí mnoho správců úloh.

Azure Batch

Azure Batch je služba platformy pro efektivní spouštění rozsáhlých paralelních aplikací a aplikací PROSTŘEDÍ HPC v cloudu. Azure Batch plánuje spouštění výpočetně náročných úloh ve spravovaném fondu virtuálních počítačů a dokáže automaticky škálovat výpočetní prostředky tak, aby splňovaly potřeby vašich úloh.

Poskytovatelé nebo vývojáři SaaS můžou použít nástroje a sady Batch SDK k integraci aplikací HPC nebo úloh kontejneru s Azure, připravit data pro Azure a sestavit kanály spouštění úloh.

Ve službě Azure Batch jsou všechny služby spuštěné v cloudu, následující obrázek ukazuje, jak architektura vypadá se službou Azure Batch, přičemž konfigurace škálovatelnosti a plánu úloh běží v cloudu, zatímco výsledky a sestavy se dají odeslat do místního prostředí.

Diagram znázorňuje ukázkovou architekturu PROSTŘEDÍ HPC pro Azure Batch.

Azure CycleCloud

Azure CycleCloud poskytuje nejjednodušší způsob správy úloh HPC s využitím libovolného plánovače (jako je Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro nebo Symphony) v Azure:

CycleCloud umožňuje následující:

  • Nasazení kompletních clusterů a dalších prostředků, včetně plánovače, výpočetních virtuálních počítačů, úložiště, sítí a mezipaměti
  • Orchestrace pracovních postupů pro úlohy, data i cloud
  • Zajištění plné kontroly správců nad tím, kteří uživatelé mohou spouštět úlohy a také kde a s jakými náklady
  • Přizpůsobení a optimalizace clusterů prostřednictvím rozšířených zásad a zásad správného řízení, včetně kontroly nákladů, monitorování, vytváření sestav a integrace Active Directory
  • Možnost využití aktuálního plánovače úloh a aplikací bez nutnosti změn
  • Využití výhod integrace automatického škálování a prověřených referenčních architektur pro širokou škálu oborů a úloh HPC
Model hybridního nebo cloudového shlukování

V tomto diagramu hybridního příkladu vidíme jasně, jak se tyto služby distribuují mezi cloud a místní prostředí. Možnost spouštět úlohy v obou úlohách Diagram znázorňuje ukázkovou architekturu PROSTŘEDÍ HPC pro CycleCloud v Azure v hybridním prostředí.

Model nativní pro cloud

Následující diagram ukázkového modelu nativního pro cloud ukazuje, jak bude úloha v cloudu zpracovávat vše a přitom si zachovat připojení k místnímu prostředí.

Diagram znázorňuje ukázkovou architekturu PROSTŘEDÍ HPC pro CycleCloud v Azure v nativním modelu cloudu .

Srovnávací graf

Funkce Azure Batch Azure CycleCloud
Scheduler Rozhraní API a nástroje služby Batch a skripty příkazového řádku na webu Azure Portal (nativní pro cloud). Používejte standardní plánovače PROSTŘEDÍ HPC, jako jsou Slurm, PBS Pro, LSF, Grid Engine a HTCondor nebo rozšiřte moduly plug-in automatického škálování CycleCloudu, abyste mohli pracovat s vlastním plánovačem.
Výpočetní prostředky Uzly software jako služby – platforma jako služba Software typu Platforma jako služba – Platforma jako služba
Nástroje monitorování Azure Monitor Azure Monitor, Grafana
Vlastní nastavení Vlastní fondy imagí, image třetích stran, přístup k rozhraní API služby Batch. Použití komplexního rozhraní RESTful API k přizpůsobení a rozšíření funkcí, nasazení vlastního plánovače a podpory do stávajících správců úloh
Integrace Synapse Pipelines, Azure Data Factory, Azure CLI Integrované rozhraní příkazového řádku pro Windows a Linux
Typ uživatele Vývojáři Klasické správce a uživatelé prostředí HPC
Typ práce Batch, Workflows Úzce svázané (message passing interface/MPI).
Podpora windows Ano Liší se v závislosti na volbě plánovače.

Správci úloh

Následují příklady správců clusteru a úloh, které můžou běžet v infrastruktuře Azure. Vytvořte samostatné clustery ve virtuálních počítačích Azure nebo proveďte rozšíření na virtuální počítače Azure z místního clusteru.

Kontejnery

Containers můžete také použít ke správě některých úloh prostředí HPC. Služby jako Azure Kubernetes Service (AKS) usnadňuje nasazení spravovaného clusteru Kubernetes v Azure.

Správa nákladů

Správu nákladů prostředí HPC v Azure můžete udělat několika různými způsoby. Ujistěte se, že jste si přečetli možnosti nákupu Azure, abyste našli nejvhodnější metodu pro vaši organizaci.

Zabezpečení

Přehled osvědčených postupů zabezpečení v Azure najdete v dokumentaci k zabezpečení Azure.

Kromě konfigurací sítě dostupných v části Cloud Bursting můžete implementovat konfiguraci hvězdicové architektury a izolovat výpočetní prostředky:

Aplikace prostředí HPC

Spouštějte vlastní nebo obchodní aplikace HPC v Azure. Některé příklady v této části jsou testované, aby se efektivně škálovaly s dalšími virtuálními počítači nebo výpočetními jádry. Přejděte na Azure Marketplace, kde jsou řešení připravená k nasazení.

Poznámka:

S dodavateli komerčních aplikací se vždy poraďte ohledně licencování a dalších omezení při spouštění v cloudu. Ne všichni dodavatelé nabízejí licencování formou průběžných plateb. Možná pro své řešení budete potřebovat licenční server v cloudu nebo se připojit k místnímu licenčnímu serveru.

Technické aplikace

Grafika a vykreslování

AI a hluboké učení

Poskytovatelé MPI

Vzdálená vizualizace

Spouštění virtuálních počítačů využívajících GPU v Azure ve stejné oblasti jako výstup PROSTŘEDÍ HPC za účelem nejnižší latence, přístupu a vzdálené vizualizace prostřednictvím služby Azure Virtual Desktop, Citrix nebo VMware Horizon.

Srovnávací testy výkonu

Případové studie

Existuje mnoho zákazníků, kteří zaznamenali velký úspěch pomocí Azure pro své úlohy PROSTŘEDÍ HPC. Několik z těchto případových studií zákazníků můžete najít níže:

Další důležité informace

Další kroky

Nejnovější oznámení najdete v následujících zdrojích informací:

Příklady pro Microsoft Batch

V těchto kurzech najdete podrobnosti o spouštění aplikací ve službě Microsoft Batch: