Úložiště pro HPC v finančním sektoru

  • Článek

Tento článek obsahuje doporučení pro implementaci úložiště v prostředích PROSTŘEDÍ HPC pro finanční sektor. Rozsáhlé úlohy PROSTŘEDÍ HPC ve finančních prostředích vytvářejí požadavky na ukládání dat a přístup, které překračují možnosti tradičních cloudových systémů souborů.

Aspekty návrhu

Pokud se chcete rozhodnout, které řešení úložiště použít, je potřeba vzít v úvahu následující požadavky na aplikaci.

  • Latence
  • IOPS
  • Propustnost
  • Velikosti a počet souborů
  • Modul runtime úlohy
  • Přidružené náklady
  • Spřažení pro umístění úložiště: místní a Azure

Doporučení k návrhu

  • Pro úložiště s vysokou propustností a nízkou latencí použijte Azure Blob Storage úrovně Standard nebo Premium. Nabízí tyto výhody:

    • Poskytuje přístup s vysokou propustností, vysokou propustností, nízkou latencí v případě potřeby, známým systémem souborů a přístupem s více protokoly (REST, HDFS, NFS).
    • Je nákladově efektivní.
    • Blob Storage můžete připojit jako systém souborů pomocí BlobFuse. To usnadňuje připojení více uzlů ke stejnému kontejneru pro scénáře jen pro čtení.
    • Podporuje systém souborů NFS 3.0 v koncovém bodu služby blob pro úlohy s vysokou propustností a vysokými nároky na čtení.
    • Náklady můžete optimalizovat přesunutím dat na chladnější úrovně prostřednictvím možnosti provádět správu životního cyklu pomocí inteligentního vrstvení poslední aktualizace a přístupu s přizpůsobitelnými zásadami.

  • Použijte Azure NetApp Files pro readWriteMany (jedinečné) nebo jednou zapisované aplikace jen pro čtení. Poskytuje tyto výhody:

    • Široká volba souborových protokolů (NFSv3, NFSv4.1, SMB3).
    • Výkon, který je srovnatelný s místním výkonem, s několika úrovněmi (Ultra, Premium, Standard).
    • Nasazuje se během několika minut a nabízí širokou škálu úrovní a flexibilitu.
    • Flexibilní typy fondů kapacity a výkon, kdy se QoS na svazek automaticky přiřadí na základě úrovně fondu a kvóty svazků.

Následující tabulka obsahuje porovnání služby Blob Storage, Azure Files, Azure Managed Lustre a Azure NetApp Files.

Blob Storage Soubory Azure Azure Managed Lustre Azure NetApp Files
Případy použití Nejvhodnější pro úlohy sekvenčního přístupu s velkými nároky na čtení, ve kterých se data ingestují jednou a minimálně mění.

Nízké celkové náklady na vlastnictví, pokud dojde k lehké údržbě.		 Vysoce dostupná služba, která je nejvhodnější pro úlohy s náhodným přístupem.

Pro sdílené složky NFS poskytuje Azure Files úplnou podporu systému souborů POSIX. Integrovaný ovladač CSI umožňuje kromě platforem založených na virtuálních počítačích snadno používat i kontejnerové platformy, jako jsou Azure Container Instances a Azure Kubernetes Service (AKS).		 Azure Managed Lustre je plně spravovaný paralelní systém souborů, který je nejvhodnější pro středně velké úlohy prostředí HPC.

Umožňuje aplikacím HPC v cloudu bez narušení kompatibility aplikací tím, že poskytuje známé funkce, chování a výkon paralelního systému souborů Lustre, zabezpečení dlouhodobých investic do aplikací.		 Plně spravovaná souborová služba v cloudu využívající NetApp s pokročilými možnostmi správy.

Azure NetApp Files je vhodný pro úlohy, které vyžadují náhodný přístup. Poskytuje širokou podporu protokolu a vylepšenou ochranu dat.
Dostupné protokoly NFS 3.0

ODPOČINKU

Azure Data Lake Storage		 SMB

NFS 4.1

(Žádná interoperabilita mezi protokolem.)		 Lesk NFS 3.0 a 4.1

SMB


Klíčové funkce Integrovaná se službou Azure HPC Cache pro úlohy s nízkou latencí

Integrovaná správa, včetně správy životního cyklu, neměnných objektů blob, převzetí služeb při selhání dat a indexu metadat.		 Zónově redundantní pro vysokou dostupnost.

Konzistentní latence v řádu milisekund.

Předvídatelný výkon a náklady, které se škálují s kapacitou.		 Vysoká kapacita úložiště až 2,5PB.

Nízká latence (~2 ms).

Za pár minut můžete aktivovat nové clustery.

Podporuje kontejnerizované úlohy pomocí AKS.		 Extrémně nízká latence (tak nízká jako v milisekundách).

Bohaté možnosti správy NETApp ONTAP, jako je SnapMirror Cloud.

Konzistentní hybridní cloudové prostředí.
Výkon (na svazek) Stejně jako 20 000 IOPS. Až 100 GiB/s propustnost. Stejně jako 100 000 IOPS. Až 80 GiB/s propustnost. Až 100 000 IOPS, až 500 GiB/s propustnost. Stejně jako 460 000 IOPS. Až 36 GiB/s propustnost.
Měřítko Stejně jako 2 PiB pro jeden svazek.

Stejně jako ~4,75 TiB pro jeden soubor.

Žádné minimální požadavky na kapacitu.		 Stejně jako 100 TiB pro jeden svazek.

Stejně jako 4 TiB pro jeden soubor.

Minimální kapacita 100 GiB.		 Stejně jako 2,5 PiB pro jeden svazek.

Stejně jako 32 PB pro jeden soubor.

4 Minimální kapacita TiB.		 Stejně jako 100 TiB pro jeden svazek.

Stejně jako 16 TiB pro jeden soubor.

Konzistentní hybridní cloudové prostředí.
Ceny Ceny služby Azure Blob Storage Ceny služby Azure Files Ceny služby Azure Managed Lustre Ceny služby Azure NetApp Files

Další kroky

Následující články obsahují pokyny, které můžou být užitečné v různých bodech procesu přechodu na cloud. Můžou vám pomoct uspět ve scénáři přechodu na cloud pro prostředí HPC v finančním sektoru.