Vysokovýkonné výpočetní prostředí (HPC) v Azure

  • Článek
  • 7 min ke čtení

Seznámení s prostředím HPC

Vysokovýkonné výpočetní prostředí (HPC), nazývané také „Big Compute“, používá velké množství počítačů založených na CPU nebo GPU k řešení složitých matematických úloh.

Řada odvětví pomocí prostředí HPC řeší některé ze svých nejobtížnějších problémů. Mezi řešené úlohy patří:

  • Genomics
  • Simulace v petrochemii
  • Finance
  • Návrh polovodičů
  • Inženýrství
  • Modelování počasí

Jak se prostředí HPC liší v cloudu?

Jedním z hlavních rozdílů mezi místním systémem HPC a systémem v cloudu je schopnost dynamicky přidávat a odebrat prostředky podle potřeby. Pomocí dynamického škálování není výpočetní kapacita kritickým místem a zákazníci mohou naopak přizpůsobit velikost infrastruktury požadavkům svých úloh.

Následující články poskytují o této funkci dynamického škálování další podrobnosti.

Kontrolní seznam pro implementaci

Pokud se chystáte implementovat vlastní řešení HPC v Azure, zkontrolujte, že jste si přečetli následující témata:

  • Volba odpovídající architektury na základě vašich požadavků
  • Znalost nejvhodnější výpočetní možnosti pro vaše úlohy
  • Identifikace správného řešení úložiště vyhovujícího vašim potřebám
  • Rozhodnutí o způsobu správy všech vašich prostředků
  • Optimalizace vaší aplikace pro cloud
  • Zabezpečení vaší infrastruktury

Infrastruktura

Existuje několik součástí infrastruktury potřebných k sestavení systému HPC. Bez ohledu na to, jak budete chtít spravovat úlohy prostředí HPC, Compute, Storage a Sítě poskytují základní komponenty.

Příklady architektur HPC

Existuje mnoho různých způsobů, jak navrhovat a implementovat architekturu HPC v Azure. Aplikace prostředí HPC se mohou škálovat na tisíce výpočetních jader, rozšiřovat místní clustery nebo se spouštět ve formě řešení, které je 100% nativní pro cloud.

Následující scénáře popisují několik z běžných způsobů, jak se řešení HPC sestavují.

  • Diagram shows example HPC architecture for computer-aided engineering services on Azure.

    Služby CAE (Computer-Aided Engineering) v Azure

    Poskytněte platformu softwaru jako služby (SaaS) pro CAE (Computer-Aided Engineering ) v Azure.

  • Diagram shows example HPC architecture for computational fluid dynamics simulations on Azure.

    Simulace CDF (Computational Fluid Dynamics) v Azure

    Využijte možnost spouštět simulace CDF (Computational Fluid Dynamics) v Azure.

  • Diagram shows example HPC architecture for 3D video rendering on Azure.

    Vykreslování 3D videa v Azure

    Spouštění nativních úloh HPC v Azure s využitím služby Azure Batch

Compute

Azure nabízí širokou škálu velikostí, které jsou optimalizované pro úlohy náročné na CPU a GPU.

Virtuální počítače založené na CPU

Virtuální počítače s podporou GPU

Virtuální počítače řady N jsou vybavené grafickými procesory NVIDIA pro aplikace náročné na výpočetní nebo grafický výkon, včetně vizualizací a učení umělé inteligence (AI).

Storage

Úlohy Batch a HPC ve velkém měřítku mají požadavky na úložiště dat a přístup, které přesahují možnosti tradičních cloudových systémů souborů. Existuje několik řešení, které zvládnou požadavky na rychlost a kapacitu aplikací HPC v Azure.

Další informace o porovnání Mezire, UsesterFS a BeeGFS v Azure najdete v elektronické knize Parallel Files Systems on Azure (Paralelní systémy souborů v Azure) a na blogu k Azure.

Sítě

Virtuální počítače H16r, H16mr, A8 a A9 se můžou připojit k back-endové síti RDMA s vysokou propustností. Tato síť může zvýšit výkon úzce párovaných paralelních aplikací běžících v rámci Microsoft MPI nebo Intel MPI.

Správa

Udělej si sám

Sestavení systému HPC v Azure od začátku nabízí významné množství flexibility, ale je často velmi náročné na údržbu.

  1. Vytvořte si vlastní prostředí clusteru ve virtuálních počítačích Azure nebo škálovacích sadách virtuálních počítačů.
  2. Použijte šablony Azure Resource Manageru k nasazení špičkových správců úloh, infrastruktury a aplikací.
  3. Zvolte velikosti virtuálních počítačů HPC a GPU, které zahrnují specializovaný hardware a síťová připojení pro úlohy MPI nebo GPU.
  4. Přidejte vysokovýkonné úložiště pro úlohy náročné na vstupně-výstupní operace.

Hybridní a cloudové shlukování

Pokud máte existující místní systém HPC, který chcete připojit k Azure, existuje řada prostředků, které vám pomůžou začít.

Nejprve si přečtěte článek o možnostech pro připojení místní sítě k Azure v dokumentaci. Odtud můžete chtít informace o těchto možnostech připojení:

Jakmile se bezpečně naváže připojení k síti, můžete začít používat cloudové výpočetní prostředky na vyžádání s funkcemi shlukování vašeho existujícího správce úloh.

Řešení na Marketplace

Existuje mnoho správců úloh nabízených na Azure Marketplace.

Azure Batch

Azure Batch je služba platformy pro efektivní spouštění rozsáhlých paralelních aplikací a aplikací vysoce výkonného výpočetního prostředí (HPC) v cloudu. Azure Batch plánuje spouštění výpočetně náročných úloh ve spravovaném fondu virtuálních počítačů a dokáže automaticky škálovat výpočetní prostředky tak, aby splňovaly potřeby vašich úloh.

Poskytovatelé nebo vývojáři SaaS můžou použít nástroje a sady Batch SDK k integraci aplikací HPC nebo úloh kontejneru s Azure, připravit data pro Azure a sestavit kanály spouštění úloh.

Azure CycleCloud

Azure CycleCloud poskytuje nejjednodušší způsob správy úloh HPC s využitím libovolného plánovače (jako je Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro nebo Symphony) v Azure:

CycleCloud umožňuje následující:

  • Nasazení kompletních clusterů a dalších prostředků, včetně plánovače, výpočetních virtuálních počítačů, úložiště, sítí a mezipaměti
  • Orchestrace pracovních postupů pro úlohy, data i cloud
  • Zajištění plné kontroly správců nad tím, kteří uživatelé mohou spouštět úlohy a také kde a s jakými náklady
  • Přizpůsobení a optimalizace clusterů prostřednictvím rozšířených zásad a zásad správného řízení, včetně kontroly nákladů, monitorování, vytváření sestav a integrace Active Directory
  • Možnost využití aktuálního plánovače úloh a aplikací bez nutnosti změn
  • Využití výhod integrace automatického škálování a prověřených referenčních architektur pro širokou škálu oborů a úloh HPC

Správci úloh

Následují příklady správců clusteru a úloh, které můžou běžet v infrastruktuře Azure. Vytvořte samostatné clustery ve virtuálních počítačích Azure nebo proveďte rozšíření na virtuální počítače Azure z místního clusteru.

Kontejnery

Containers můžete také použít ke správě některých úloh prostředí HPC. Služby jako Azure Kubernetes Service (AKS) usnadňuje nasazení spravovaného clusteru Kubernetes v Azure.

Správa nákladů

Správu nákladů prostředí HPC v Azure můžete udělat několika různými způsoby. Ujistěte se, že jste si přečetli možnosti nákupu Azure, abyste našli nejvhodnější metodu pro vaši organizaci.

Zabezpečení

Přehled osvědčených postupů zabezpečení v Azure najdete v dokumentaci k zabezpečení Azure.

Kromě konfigurací sítě, které jsou k dispozici v části Shlukování cloudu, můžete chtít implementovat konfiguraci centra s paprsky, abyste izolovali výpočetní prostředky:

Aplikace prostředí HPC

Spouštějte vlastní nebo obchodní aplikace HPC v Azure. Některé příklady v této části jsou testované, aby se efektivně škálovaly s dalšími virtuálními počítači nebo výpočetními jádry. Přejděte na Azure Marketplace, kde jsou řešení připravená k nasazení.

Poznámka

S dodavateli komerčních aplikací se vždy poraďte ohledně licencování a dalších omezení při spouštění v cloudu. Ne všichni dodavatelé nabízejí licencování formou průběžných plateb. Možná pro své řešení budete potřebovat licenční server v cloudu nebo se připojit k místnímu licenčnímu serveru.

Technické aplikace

Grafika a vykreslování

AI a hluboké učení

Poskytovatelé MPI

Vzdálená vizualizace

Srovnávací testy výkonu

Příběhy zákazníků

Existuje mnoho zákazníků, kteří použitím Azure pro své úlohy HPC dosáhli skvělých úspěchů. Několik z těchto případových studií zákazníků můžete najít níže:

Další důležité informace

Další kroky

Nejnovější oznámení najdete tady:

Příklady pro Microsoft Batch

Tyto kurzy vám poskytnou podrobné informace o provozování aplikací ve službě Microsoft Batch.