Simulace nádrží využívá počítačové modely náročné na data k predikci složitých toků tekutin, jako je ropa, voda a plyn pod zemským povrchem. Tento příklad nastaví simulační software zásobníku v infrastruktuře vysokovýkonných výpočetních prostředí Azure (HPC). Azure umožňuje spouštět tento typ úloh s maximálním výkonem, škálovatelností a nákladovou efektivitou.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Pracovní postup
Tento diagram nabízí základní přehled architektury použité v příkladu. Pracovní postup je následující:
Uživatelé se přihlašují k hlavnímu uzlu přes SSH, aby připravili své modely pro výpočetní prostředky.
PBS Pro 19.1 běží na hlavním uzlu a plánuje úlohy na výpočetních uzlech.
OPM Flow běží na výpočetních uzlech. Výpočetní virtuální počítače se nasazují jako škálovací sada virtuálních počítačů, skupina identických virtuálních počítačů, které se škálují tak, aby splňovaly požadavky výpočetních úloh.
OPM Flow odesílá počítané výsledky do sdílené složky na hlavním uzlu. Disk úrovně Premium je připojený k hlavnímu uzlu a nastavený jako server NFS pro výpočetní uzly a virtuální počítač vizualizace.
OPM ResInsight spuštěný na virtuálním počítači s Windows Standard-NV6 zobrazuje 3D vizualizace výsledků. Uživatelé mají přístup k virtuálnímu počítači vizualizace prostřednictvím protokolu RDP.
Komponenty
Klíčové technologie použité k implementaci této architektury:
- Azure CycleCloud
- Azure NetApp Files
- Škálovací sady virtuálních počítačů Azure
- Key Vault
- Virtuální počítače s Linuxem v Azure
- Virtual Machines
Podrobnosti scénáře
Architektura v tomto příkladu podporuje OPM Flow, oblíbený opensourcový balíček simulace zásobníků ropy a plynu z iniciativy Open Porous Media (OPM). Software OPM Flow běží na virtuálních počítačích Azure HPC, které poskytují výkon v blízkosti nebo vyšší než aktuální místní infrastruktury.
Uživatelé se připojují k virtuálnímu počítači s Hlavním uzlem s Linuxem a odesílají modely do prostředků prostředí HPC prostřednictvím softwaru pro plánování úloh PBS Pro 19.1. Prostředky PROSTŘEDÍ HPC spouštějí tok OPM a odesílají počítané výsledky do sdílené složky. V tomto příkladu je sdílená složka prostorem systému souborů NFS (Network File System) o velikosti 4 terabajtů (TB) na virtuálním počítači hlavního uzlu. V závislosti na modelu a požadavcích na vstupně-výstupní operace můžete použít další možnosti úložiště .
Virtuální počítač Microsoft Azure s opensourcovým vizualizačním nástrojem OPM ResInsight přistupuje ke sdílené složce, aby modeloval a vizualizoval počítané výsledky. Uživatelé se můžou k virtuálnímu počítači připojit přes protokol RDP (Remote Desktop Protocol) a zobrazit vizualizace.
Používání virtuálního počítače Azure šetří náklady na pracovní stanici s vizualizací vyšších úrovní. Aplikace OPM těží z hardwaru HPC a sdíleného umístění úložiště pro vstupní a výstupní soubory.
Potenciální případy použití
Proveďte 3D modelování a vizualizaci seismických dat.
Test INTERSECT, simulátor nádrže s vysokým rozlišením od Schlumberger. Ukázkovou implementaci INTERSECT najdete na GitHubu.
Otestujte Nexus Landmark-Halliburton pomocí podobného nastavení v Azure.
Požadavky
Tyto aspekty implementují pilíře azure Well-Architected Framework, což je sada hlavních zásad, které lze použít ke zlepšení kvality úloh. Další informace najdete v tématu Microsoft Azure Well-Architected Framework.
V tomto příkladu se používají vysoce výkonné virtuální počítače řady HB. Řada HB-series je optimalizovaná pro aplikace řízené šířkou pásma paměti, jako je například dynamika výpočetních kapalin (CFD), a Standard_HB120rs_v2 virtuální počítač je nejnovější v řadě. U hardwaru založeného na technologii Intel je možné použít Standard_HC44rs virtuální počítač.
Za účelem otestování této architektury OPM Flow v Azure se v ukázkové implementaci GitHubu nainstaluje případ Norne, což je otevřený srovnávací test skutečného ropného pole v Norsku. Pokud chcete spustit tento testovací případ, musíte:
K ukládání klíčů a tajných kódů použijte Azure Key Vault, který je požadavkem instalačních skriptů GitHubu.
Nainstalujte na všechny výpočetní uzly knihovny LAPACK (Linear Algebra PACKage). Tento krok zahrnují instalační skripty GitHubu.
Nainstalujte software HP Remote Graphics Software (RGS) na jakýkoli počítač, který chcete použít jako přijímač pro vizualizace. V tomto příkladu se uživatel připojí k virtuálnímu počítači vizualizace, aby spustil ResInsight a zobrazil případ Norne.
Plánovač úloh
Úlohy náročné na výpočetní prostředky těží ze softwaru pro orchestraci prostředí HPC, který dokáže nasadit a spravovat infrastrukturu výpočetních a úložných prostředků HPC. Ukázková architektura zahrnuje dva způsoby nasazení výpočetních prostředků: azurehpc framework nebo Azure CycleCloud.
Azure CycleCloud je nástroj pro vytváření, správu, provoz a optimalizaci clusterů HPC a velkých výpočetních clusterů v Azure. Můžete ho použít k dynamickému zřizování clusterů Azure HPC a orchestraci dat a úloh pro hybridní a cloudové pracovní postupy. Azure CycleCloud také podporuje několik správců úloh pro úlohy PROSTŘEDÍ HPC v Azure, jako jsou Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm a Symphony.
Síť
Tato ukázková úloha nasadí virtuální počítače v různých podsítích. Pro zvýšení zabezpečení můžete definovat skupiny zabezpečení sítě pro každou podsíť. Můžete například nastavit pravidla zabezpečení, která povolují nebo zamítnou síťový provoz do nebo z různých uzlů. Pokud tuto úroveň zabezpečení nepotřebujete, nepotřebujete pro tuto implementaci samostatné podsítě.
Storage
Požadavky na úložiště a přístup k datům se značně liší v závislosti na škálování úloh. Azure podporuje několik přístupů ke správě rychlosti a kapacity aplikací HPC. Úložiště Azurehpc GitHub obsahuje ukázkové skripty Azure HPC.
Následující přístupy jsou v ropném a plynárenství běžné. Zvolte řešení, které nejlépe vyhovuje vašim jedinečným požadavkům na vstupně-výstupní operace a kapacitu.
U úloh s nízkým škálováním, jako je aktuální příklad, zvažte spuštění systému souborů NFS na hlavním uzlu pomocí virtuálního počítače Lsv2-series optimalizovaného pro úložiště s velkými dočasnými disky nebo virtuálních počítačů řady D s Azure Premium Storage v závislosti na vašich požadavcích. Toto řešení vyhovuje úlohám s 500 jádry nebo méně, propustností až 1,5 gigabajtů za sekundu (GiB/s) a až 19 TB paměti RAM a 100 TB úložiště.
Střední až velké úlohy náročné na čtení: Zvažte použití Avere vFXT pro Azure (6 až 24 uzlů). Toto řešení funguje pro úlohy až 50 000 jader, propustnost až 2 GiB/s pro zápisy a až 14 GiB/s pro čtení, mezipaměť až 192 TB a souborový server až 2 petabajty (PB).
Vyvážené úlohy nebo úlohy středně velkého rozsahu náročné na zápis: Zvažte použití Azure NetApp Files pro úlohy s až 4 000 jádry s propustností až 6,5 GiB/s, úložištěm až 100 TB na svazku a maximální velikostí souboru 12 TB.
Rozsáhlé úlohy: Použijte orchestrovanou paralelní souborovou službu, jako je Lustre nebo BeeGFS. Tento přístup funguje až pro 50 000 jader s rychlostí čtení/zápisu až 50 GiB/s a 500 TB úložiště. U ještě větších clusterů může být přístup založený na holých počítačích nákladově efektivnější. Například Cray ClusterStor je spravované řešení úložiště HPC s flexibilitou pro podporu větších elastických clusterů za chodu.
Nasazení tohoto scénáře
Podívejte se na příklad implementace této architektury OPM Flow na GitHubu.
Další kroky
- Přečtěte si blog HPC: Oil and Gas v Azure .
- Získejte přehled O Avere vFXT pro Azure.
- Projděte si kontrolní seznam výkonu a škálovatelnosti služby Azure Storage.
- Prozkoumejte ukázkovou úlohu pro počítačové inženýrství (CAE) v Azure.
- Přečtěte si o prostředí HPC v Azure.