Share via

Lagring för HPC inom finanssektorn

  • Artikel

Den här artikeln innehåller rekommendationer för att implementera lagring i HPC-miljöer för finanssektorn. Storskaliga HPC-arbetsbelastningar i ekonomimiljöer skapar krav på datalagring och åtkomst som överskrider funktionerna i traditionella molnfilsystem.

Utformningsbeaktanden

För att avgöra vilken lagringslösning som ska användas måste du ta hänsyn till följande programkrav.

  • Svarstid
  • IOPS
  • Dataflöde
  • Filstorlekar och -nummer
  • Jobbkörning
  • Associerade kostnader
  • Tillhörighet för lagringsplats: lokalt jämfört med Azure

Designrekommendationer

  • Använd Standard eller Premium Azure Blob Storage för lagring med högt dataflöde och låg svarstid. Den erbjuder följande fördelar:

    • Den ger åtkomst med exabyteskala, högt dataflöde, låg latens vid behov, ett välbekant filsystem och åtkomst med flera protokoll (REST, HDFS, NFS).
    • Det är kostnadseffektivt.
    • Du kan montera Blob Storage som ett filsystem med hjälp av BlobFuse. Detta gör det enkelt att tillåta att flera noder monterar samma container för skrivskyddade scenarier.
    • Den har stöd för NFS 3.0 vid blobtjänstens slutpunkt för hög dataflöde, läsintensiva arbetsbelastningar.
    • Du kan optimera kostnaderna genom att flytta data till lågfrekventa nivåer via möjligheten att utföra livscykelhantering med intelligent nivåindelning för senaste uppdatering/åtkomsttid med anpassningsbara principer.

  • Använd Azure NetApp Files for ReadWriteMany (unikt) eller skriv-en gång, läs-en-program. Det ger följande fördelar:

    • Ett brett urval av filprotokoll (NFSv3, NFSv4.1, SMB3).
    • Prestanda som är jämförbar med lokala prestanda, med flera nivåer (Ultra, Premium, Standard).
    • Distribueras på några minuter och erbjuder ett brett utbud av nivåer och flexibilitet.
    • Typer och prestanda för flexibel kapacitetspool, där QoS per volym tilldelas automatiskt baserat på poolens nivå och volymkvoten.

Följande tabell innehåller en jämförelse av Blob Storage, Azure Files, Azure Managed Lustre och Azure NetApp Files.

Blob Storage Azure Files Azure Managed Lustre Azure NetApp Files
Användningsfall Passar bäst för storskaliga läsintensiva sekventiella åtkomstarbetsbelastningar där data matas in en gång och ändras minimalt.

Låg total ägandekostnad, om det finns lätt underhåll.		 En tjänst med hög tillgänglighet som passar bäst för slumpmässiga åtkomstarbetsbelastningar.

För NFS-resurser tillhandahåller Azure Files fullständigt stöd för POSIX-filsystem. Med den inbyggda CSI-drivrutinen kan du enkelt använda den från containerplattformar som Azure Container Instances och Azure Kubernetes Service (AKS), utöver VM-baserade plattformar.		 Azure Managed Lustre är ett fullständigt hanterat parallellt filsystem som passar bäst för medelstora till stora HPC-arbetsbelastningar.

Aktiverar HPC-program i molnet utan att bryta programkompatibiliteten genom att tillhandahålla välbekanta funktioner, beteenden och prestanda för Lustre-parallella filsystem, vilket skyddar långsiktiga programinvesteringar.		 En fullständigt hanterad filtjänst i molnet, som drivs av NetApp, med avancerade hanteringsfunktioner.

Azure NetApp Files passar för arbetsbelastningar som kräver slumpmässig åtkomst. Det ger brett protokollstöd och förbättrat dataskydd.
Tillgängliga protokoll NFS 3.0

RESTEN

Azure Data Lake Storage		 SMB

NFS 4.1

(Ingen samverkan mellan något av protokollen.)		 Lustre NFS 3.0 och 4.1

SMB


Huvudfunktioner     Integrerad med Azure HPC Cache för arbetsbelastningar med låg svarstid.

Integrerad hantering, inklusive livscykelhantering, oföränderliga blobar, dataredundans och metadataindex.		 Zonredundant för hög tillgänglighet.

Konsekvent svarstid på ensiffrigt millisekunder.

Förutsägbar prestanda och kostnad som skalas med kapacitet.		 Hög lagringskapacitet på upp till 2,5PB.

Kort svarstid (~2 ms).

Starta nya kluster på några minuter.

Stöder containerbaserade arbetsbelastningar med AKS.		 Extremt låg svarstid (så låg som under millisekunder).

Rich NetApp ONTAP-hanteringsfunktioner, till exempel SnapMirror Cloud.

Konsekvent hybridmolnupplevelse.
Prestanda (per volym) Så mycket som 20 000 IOPS. Så mycket som 100 GiB/s-dataflöde. Så mycket som 100 000 IOPS. Så mycket som 80 GiB/s-dataflöde. Så mycket som 100 000 IOPS, upp till 500 GiB/s-dataflöde. Så mycket som 460 000 IOPS. Så mycket som 36 GiB/s-dataflöde.
Skala Så mycket som 2 PiB för en enda volym.

Så mycket som ~4,75 TiB för en enda fil.

Inga minimikrav för kapacitet.		 Så mycket som 100 TiB för en enda volym.

Så mycket som 4 TiB för en enda fil.

100 GiB minsta kapacitet.		 Så mycket som 2,5 PiB för en enda volym.

Så mycket som 32 PB för en enda fil.

4 TiB minsta kapacitet.		 Så mycket som 100 TiB för en enda volym.

Så mycket som 16 TiB för en enda fil.

Konsekvent hybridmolnupplevelse.
Prissättning Prissättning för Azure Blob Storage Priser för Azure Files Prissättning för Azure Managed Lustre Prissättning för Azure NetApp Files

Nästa steg

Följande artiklar innehåller vägledning som du kan ha nytta av vid olika tidpunkter under molnimplementeringsprocessen. De kan hjälpa dig att lyckas med ditt molnimplementeringsscenario för HPC inom finanssektorn.