Cílová zóna Azure pro prostředí HPC
Metodologie připravenosti architektury přechodu na cloud pro Azure vás provede přípravou vašeho prostředí na přechod na cloud. Během fáze připravenosti můžete použít cílovou zónu Azure. Cílová zóna je technický akcelerátor, který poskytuje základní stavební blok pro jakékoli prostředí přechodu na cloud. Cílová zóna může automatizovat konfiguraci prostředí Azure, která odpovídá osvědčeným postupům z architektury přechodu na cloud. Při přípravě na vysokovýkonné výpočetní prostředí (HPC) můžete narazit na konfigurace prostředí, které závisí na případu použití a požadavcích vašeho odvětví.
Koncepční architektura cílové zóny Azure
Při přípravě prostředí na trvalou přechod na cloud můžete použít koncepční architekturu cílové zóny Azure, která představuje cílový koncový stav. V prostředí HPC existuje několik koncepčních odkazů na architekturu založenou na třech odvětvích, která architektura přechodu na cloud aktuálně řeší:
Při vývoji dlouhodobé vize cílové zóny zvažte tyto odkazy na architekturu. Tyto odkazy představují výchozí bod. V závislosti na obchodních požadavcích vaší organizace a potřebách koncových uživatelů je možná budete muset upravit.
Vyhodnocení pro prostředí HPC
Rozhodnutí, která provedete během strategického posouzení dopadu a technického plánování, ovlivňují konfiguraci cílové zóny, kterou zvolíte pro nasazení prostředí HPC v Azure. Doporučujeme zvážit následující otázky:
- Jak vyspělé je vaše prostředí v Azure? Je to ve fázi testování konceptu? Nebo už je to vyspělá aplikace, která slouží uživatelům? V závislosti na jeho fázi můžete zahrnout nebo vynechat zásady správného řízení, zabezpečení nebo organizaci prostředků.
- Je aplikace, kterou vytváříte na krátkodobém nebo dlouhodobém projektu Azure? Odpověď na tuto otázku vám může pomoct zvolit možnosti výpočetních prostředků a úložiště.
- Vyžaduje vaše organizace přístup k prostředkům Azure na různých úrovních?
Jak můžete vidět z těchto otázek, model nasazení se liší v závislosti na vašem podnikání, odvětví a využití aplikací.
Akcelerace cílové zóny Azure pro PROSTŘEDÍ HPC
Azure Batch i Azure CycleCloud jsou služby Azure poskytované 1. stranou, zatímco Azure HPC OnDemand Platform (AzHOP) je automatizace založená na cloudu Cyklu Azure, která poskytuje kompletní mechanismus nasazení kompletního řešení clusteru HPC v Azure.
Azure Batch
- Služba Batch je navržená tak, aby efektivně spouštěla rozsáhlé paralelní úlohy a dávkové úlohy PROSTŘEDÍ HPC v Azure.
- Služba Batch vytvoří a spravuje fond výpočetních uzlů nebo virtuálních počítačů. Službu Batch můžete použít také k instalaci aplikací, které chcete spustit, a plánování úloh, které se mají na uzlech spouštět.
- Neexistuje žádný software plánovače clusteru nebo úloh pro instalaci, správu nebo škálování.
- Batch dobře funguje pro vnitřně paralelní úlohy. Tyto úlohy mají aplikace, které se můžou spouštět nezávisle, přičemž každá instance dokončí část práce.
- Službu Batch můžete použít také ke spouštění úzce propojených úloh, kdy aplikace, které spouštíte, potřebují komunikovat mezi sebou, a ne nezávisle na sobě.
- Dávkové úlohy se můžou spouštět přímo na virtuálních počítačích nebo uzlech ve fondu Batch. Můžete ale také nastavit fond Batch pro spouštění úloh v kontejnerech kompatibilních s Dockerem na uzlech.
Azure CycleCloud
- Podporuje různé plánovače PROSTŘEDÍ HPC, jako jsou SLURM, OpenPBS, PBSPro, LSF, Grid Engine a HTCondor12.
- Umožňuje zřizovat infrastrukturu pro systémy HPC, jako jsou virtuální počítače, škálovací sady, síťová rozhraní a disky.
- Automaticky škáluje infrastrukturu tak, aby efektivně spouštěla úlohy v libovolném měřítku na základě zatížení úloh, dostupnosti a časových požadavků.
- Poskytuje bohatý, deklarativní formát šablon pro vytváření kompletních prostředí PROSTŘEDÍ HPC v Azure.
- Integruje se se službami Azure, jako jsou Azure Monitor a nástroje Azure Cost Management.
AzHop
- AzHop poskytuje ucelený mechanismus nasazení základní infrastruktury prostředí HPC v Azure, který k orchestraci úloh využívá CycleCloud.
- Poskytuje kompletní clusterové řešení PROSTŘEDÍ HPC, které je připravené pro uživatele ke spouštění aplikací a které je snadné správcům prostředí HPC nasazovat a spravovat.
- AzHop používá různé integrované aplikace, které můžete použít tak, jak je, nebo můžete snadno přizpůsobit a rozšířit tak, aby splňovaly všechny nemetované požadavky.
- Zahrnuje portál Open OnDemand pro jednotný přístup uživatelů, vzdálený přístup k prostředí, vzdálený přístup k vizualizaci, odesílání úloh, přístup k souborům a další.
- Používá active Directory k ověřování uživatelů a řízení domény.
- Jako plánovač úloh používá OpenPBS nebo Simple Linux Utility pro správu prostředků (SLURM).
- Dynamické zřizování prostředků a automatické škálování provádí předkonfigurované fronty úloh CycleCloud a integrované kontroly stavu, aby se rychle zabránilo neoptimálním uzlům.
- Azure NetApp Files poskytuje sdílený systém souborů pro domovský adresář a aplikace.
Srovnávací graf
| Funkce | Azure Batch | Azure CycleCloud |
|---|---|---|
| Scheduler | K dispozici jsou rozhraní API a nástroje služby Batch. Můžete také použít skripty příkazového řádku nativní pro cloud na webu Azure Portal. | Můžete použít standardní plánovače HPC, jako jsou SLURM, OpenPBS, PBSPro, LSF, Grid Engine a HTCondor. Nebo můžete rozšířit moduly plug-in automatického škálování Azure CycleCloudu tak, aby fungovaly s vlastním plánovačem. |
| Výpočetní prostředky | Uzly SaaS (Software jako služba) – platforma jako služba (PaaS). | PaaS software – PaaS. |
| Monitorovací nástroje | Azure Monitor | Azure Monitor a Grafana. |
| Vlastní nastavení | Můžete použít vlastní fondy imagí, image třetích stran nebo přístup k rozhraní API služby Batch. | Komplexní rozhraní RESTful API můžete použít k přizpůsobení a rozšíření funkcí, nasazení vlastního plánovače a podpoře stávajících správců úloh. |
| Integrace | Kanály Azure Synapse Analytics, Azure Data Factory a Azure CLI | Integrované rozhraní příkazového řádku pro Windows a Linux. |
| Typ uživatele | Vývojáři. | Klasické správce prostředí HPC a uživatelé. |
| Typ práce | Dávky a pracovní postupy. | Úzce propojené pracovní postupy, které používají rozhraní MPI (Message Passing Interface). |
| Podpora pro Windows | Poskytovány. | Závisí na volbě plánovače. |
Azure CycleCloud a Azure Batch jsou výkonné nástroje pro úlohy PROSTŘEDÍ HPC v Azure, ale jsou navržené pro různé případy použití.
Azure CycleCloud je podnikový nástroj pro orchestraci a správu prostředí PROSTŘEDÍ HPC v Azure. Zaměřuje se na správce prostředí HPC a uživatele, kteří chtějí nasadit prostředí PROSTŘEDÍ HPC s ohledem na konkrétní plánovač. Azure CycleCloud poskytuje výkonné nástroje pro vytváření kompletních prostředí PROSTŘEDÍ HPC v Azure, včetně serverů sdílení síťových souborů (NFS), paralelních systémů souborů, hostitelů přihlašování, licenčních serverů a adresářových služeb. Je užitečné pro organizace, které už nějakou dobu provozovaly prostředí PROSTŘEDÍ HPC a nashromažďovaly roky odborných znalostí a interních nástrojů v rámci konkrétního plánovače.
Služba Batch je naopak většinou zaměřená na vývojáře a týmy, které vytvářejí možnosti do vlastního produktu nebo služby. Služba Batch obsahuje vlastní plánovač a je navržená tak, aby efektivně spouštěla rozsáhlé paralelní úlohy bez softwaru plánovače úloh nebo clusteru. Služba Batch je užitečná, když nepotřebujete spravovat plánovač úloh.
V souhrnu použijte Azure CycleCloud, když chcete nasadit prostředí PROSTŘEDÍ HPC s ohledem na konkrétní plánovač a potřebujete kompletní prostředí PROSTŘEDÍ HPC. Službu Batch použijte při vývoji produktu nebo služby, která vyžaduje rozsáhlé paralelní zpracování a nechcete spravovat plánovač úloh.
Další kroky
- Zkontrolujte dostupné velikosti virtuálních počítačů s vysokým výkonem.
- Jakmile připravíte cílovou zónu PROSTŘEDÍ HPC, začněte se podívat na migraci.
- Podívejte se na celkový akcelerátor cílových zón PROSTŘEDÍ HPC.