Databehandling med höga prestanda (HPC) i AzureHigh Performance Computing (HPC) on Azure

Introduktion till HPCIntroduction to HPC

I databehandling med höga prestanda (HPC), även kallat ”Big Compute”, används ett stort antal CPU- eller GPU-baserade datorer för att lösa komplexa matematiska uppgifter.High Performance Computing (HPC), also called "Big Compute", uses a large number of CPU or GPU-based computers to solve complex mathematical tasks.

HPC används inom många branscher för att lösa svåraste problem.Many industries use HPC to solve some of their most difficult problems. Det kan vara arbetsbelastningar som:These include workloads such as:

  • GenomicsGenomics
  • Olja- och gassimuleringarOil and gas simulations
  • FinanceFinance
  • HalvledardesignSemiconductor design
  • TeknikEngineering
  • VädermodelleringWeather modeling

Hur är HPC annorlunda i molnet?How is HPC different on the cloud?

En av de primära skillnaderna mellan ett lokalt HPC-system och en i molnet är möjligheten för resurser att dynamiskt läggas till och tas bort när de behövs.One of the primary differences between an on-premises HPC system and one in the cloud is the ability for resources to dynamically be added and removed as they're needed. Med dynamisk skalning är beräkningskapaciteten inte längre en flaskhals, utan kunderna kan storleksanpassa sin infrastruktur efter verksamhetens behov.Dynamic scaling removes compute capacity as a bottleneck and instead allow customers to right size their infrastructure for the requirements of their jobs.

I följande artiklar finns mer information om funktionen för dynamisk skalning.The following articles provide more detail about this dynamic scaling capability.

Checklista för implementeringImplementation checklist

När du vill implementera din HPC-lösning i Azure bör du först läsa igenom följande avsnitt:As you're looking to implement your own HPC solution on Azure, ensure you're reviewed the following topics:

InfrastrukturInfrastructure

Det finns ett antal infrastrukturkomponenter som är nödvändiga när du skapar ett HPC-system.There are a number of infrastructure components necessary to build an HPC system. Beräkning, lagring och nätverk utgör de underliggande komponenterna, oavsett hur du väljer att hantera dina HPC-arbetsbelastningar.Compute, Storage, and Networking provide the underlying components, no matter how you choose to manage your HPC workloads.

Exempel på HPC-arkitekturerExample HPC architectures

Det finns ett antal olika sätt att utforma och implementera en HPC-arkitektur på Azure.There are a number of different ways to design and implement your HPC architecture on Azure. HPC-program kan skalas till tusentals databehandlingskärnor, utökas till lokala klister och köras som en 100 %-ig molnlösning.HPC applications can scale to thousands of compute cores, extend on-premises clusters, or run as a 100% cloud-native solution.

I följande scenarier beskrivs några vanliga sätt att skapa HPC-lösningar.The following scenarios outline a few of the common ways HPC solutions are built.

  • Diagram shows example HPC architecture for computer-aided engineering services on Azure.

    Datorstödda tekniska tjänster i AzureComputer-aided engineering services on Azure

    Tillhandahåll en programvara som en tjänst (SaaS)-plattform för datorstödd teknik (CAE) i Azure.Provide a software-as-a-service (SaaS) platform for computer-aided engineering (CAE) on Azure.

  • Diagram shows example HPC architecture for computational fluid dynamics simulations on Azure.

    Simulationer av beräkningsströmningsdynamik (CFD) i AzureComputational fluid dynamics (CFD) simulations on Azure

    Kör simulationer av beräkningsströmningsdynamik (CFD) i Azure.Execute computational fluid dynamics (CFD) simulations on Azure.

  • Diagram shows example HPC architecture for 3D video rendering on Azure.

    3D-videoåtergivning i Azure3D video rendering on Azure

    Kör inbyggda HPC-arbetsbelastningar i Azure med hjälp av Azure Batch-tjänstenRun native HPC workloads in Azure using the Azure Batch service

ComputeCompute

Azure erbjuder flera olika storlekar som är optimerade för både CPU- och GPU-intensiva arbetsbelastningar.Azure offers a range of sizes that are optimized for both CPU & GPU intensive workloads.

CPU-baserade virtuella datorerCPU-based virtual machines

GPU-aktiverade virtuella datorerGPU-enabled virtual machines

Virtuella datorer i N-serien har NVIDIA-grafikprocessorer för beräknings- och grafikintensiva program som artificiell intelligens (AI) och visualisering.N-series VMs feature NVIDIA GPUs designed for compute-intensive or graphics-intensive applications including artificial intelligence (AI) learning and visualization.

StorageStorage

Storskaliga Batch- och HPC-arbetsbelastningar ställer stora krav på datalagring och åtkomst, som överskrider funktionerna i traditionella molnfilsystem.Large-scale Batch and HPC workloads have demands for data storage and access that exceed the capabilities of traditional cloud file systems. Det finns flera olika sätt att hantera hastighets- och kapacitetsbehoven för HPC-program på AzureThere are a number of solutions to manage both the speed and capacity needs of HPC applications on Azure

Mer information om hur du jämför lustre, GlusterFS och BeeGFS på Azure finns i avsnittet med de parallella fil systemen i Azure e-Book och lustre på Azure -bloggen.For more information comparing Lustre, GlusterFS, and BeeGFS on Azure, review the Parallel Files Systems on Azure e-book and the Lustre on Azure blog.

NätverkNetworking

Virtuella datorer med H16r, H16mr, A8 och A9-datorer kan ansluta till ett RDMA-nätverk med högt dataflöde i serverdelen.H16r, H16mr, A8, and A9 VMs can connect to a high throughput back-end RDMA network. Nätverket kan ge bättre prestanda för tätt anslutna parallella program som körs under Microsoft MPI eller Intel MPI.This network can improve the performance of tightly coupled parallel applications running under Microsoft MPI or Intel MPI.

HanteringManagement

Gör det självDo-it-yourself

Att skapa ett HPC-system från grunden i Azure ger stor flexibilitet men är ofta mycket underhållskrävande.Building an HPC system from scratch on Azure offers a significant amount of flexibility, but is often very maintenance intensive.

  1. Konfigurera din egen klustermiljö med virtuella datorer i Azure eller med VM-skalningsuppsättningar.Set up your own cluster environment in Azure virtual machines or virtual machine scale sets.
  2. Använd Azure Resource Manager-mallar för att distribuera ledande arbetsbelastningshanterare, infrastrukturer och program.Use Azure Resource Manager templates to deploy leading workload managers, infrastructure, and applications.
  3. Välj storlekar för virtuella datorer med HPC och GPU som omfattar specialiserad maskinvara och nätverksanslutningar för MPI- eller GPU-arbetsbelastningar.Choose HPC and GPU VM sizes that include specialized hardware and network connections for MPI or GPU workloads.
  4. Lägg till högpresterande lagring för I/O-intensiva arbetsbelastningar.Add high performance storage for I/O-intensive workloads.

Hybrid och cloud burstingHybrid and cloud Bursting

Om du har ett befintligt lokalt HPC-system som du vill ansluta till Azure, finns det ett antal resurser som hjälper dig att komma igång.If you have an existing on-premises HPC system that you'd like to connect to Azure, there are a number of resources to help get you started.

Läs först artikeln om alternativ för att ansluta ett lokalt nätverk till Azure i dokumentationen.First, review the Options for connecting an on-premises network to Azure article in the documentation. Du kan också behöva information om anslutningsalternativen:From there, you may want information on these connectivity options:

När nätverksanslutningen har upprättats på ett säkert sätt kan du börja använda molnberäkningsresurser på begäran med bursting-funktionerna i din befintliga arbetsbelastningshanterare.Once network connectivity is securely established, you can start using cloud compute resources on-demand with the bursting capabilities of your existing workload manager.

Marketplace-lösningarMarketplace solutions

Det finns flera arbetsbelastningshanterare på Azure Marketplace.There are a number of workload managers offered in the Azure Marketplace.

Azure BatchAzure Batch

Azure Batch är en plattformstjänst för effektiv körning av storskaliga parallella program och HPC-program (databehandling med höga prestanda) i molnet.Azure Batch is a platform service for running large-scale parallel and high-performance computing (HPC) applications efficiently in the cloud. Azure Batch schemalägger beräkningsintensivt arbete för körning i en hanterad pool med virtuella datorer. Tjänsten kan automatiskt skala beräkningsresurser efter de jobb som körs.Azure Batch schedules compute-intensive work to run on a managed pool of virtual machines, and can automatically scale compute resources to meet the needs of your jobs.

Leverantörer och utvecklare av SaaS kan använda SDK:erna och verktygen i Batch för att integrera HPC-program och containerarbetsbelastningar med Azure, organisera data i Azure och skapa pipelines för jobbkörning.SaaS providers or developers can use the Batch SDKs and tools to integrate HPC applications or container workloads with Azure, stage data to Azure, and build job execution pipelines.

Azure CycleCloudAzure CycleCloud

Azure CycleCloud är det enklaste sättet att hantera HPC-arbetsbelastningar med valfri schemaläggare (som Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro eller Symphony) på AzureAzure CycleCloud Provides the simplest way to manage HPC workloads using any scheduler (like Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, or Symphony), on Azure

Med CycleCloud kan du:CycleCloud allows you to:

  • Distribuera hela kluster och andra resurser, bland annat schemaläggare, virtuella beräkningsdatorer, minne, nätverk och cacheDeploy full clusters and other resources, including scheduler, compute VMs, storage, networking, and cache
  • Orkestrera arbetsflöden för jobb, data och molnetOrchestrate job, data, and cloud workflows
  • Ge administratörer full kontroll över vilka användare som kan köra jobb, var de kan köra dem och till vilken kostnadGive admins full control over which users can run jobs, as well as where and at what cost
  • Anpassa och optimera kluster med avancerade funktioner för policy och efterlevnad, bland annat kostnadskontroller, Active Directory-integration, övervakning och rapporteringCustomize and optimize clusters through advanced policy and governance features, including cost controls, Active Directory integration, monitoring, and reporting
  • Använda din befintliga jobbschemaläggare och dina program utan modifieringUse your current job scheduler and applications without modification
  • Dra nytta av inbyggd autoskalning och stridstestad referensarkitektur för många olika HPC-arbetsflöden och -branscherTake advantage of built-in autoscaling and battle-tested reference architectures for a wide range of HPC workloads and industries

ArbetsbelastningshanterareWorkload managers

Här följer några exempel på kluster och arbetsbelastningshanterare som kan köras i Azure-infrastrukturen.The following are examples of cluster and workload managers that can run in Azure infrastructure. Skapa fristående kluster i virtuella Azure-datorer eller använd burst från virtuella Azure-datorer från ett lokalt kluster.Create stand-alone clusters in Azure VMs or burst to Azure VMs from an on-premises cluster.

ContainersContainers

Containrar kan också användas för att hantera vissa HPC-arbetsbelastningar.Containers can also be used to manage some HPC workloads. Med tjänster som Azure Kubernetes Service (AKS) blir det enkelt att distribuera ett hanterat Kubernetes-kluster i Azure.Services like the Azure Kubernetes Service (AKS) makes it simple to deploy a managed Kubernetes cluster in Azure.

KostnadshanteringCost management

Du kan hantera dina HPC-kostnader i Azure på olika sätt.Managing your HPC cost on Azure can be done through a few different ways. Gå igenom inköpsalternativen för Azure för att hitta den metod som passar bäst för din organisation.Ensure you've reviewed the Azure purchasing options to find the method that works best for your organization.

SäkerhetSecurity

En översikt över säkerhetsmetoder i Azure finns i dokumentationen om Azure Security.For an overview of security best practices on Azure, review the Azure Security Documentation.

Förutom de nätverkskonfigurationer som finns i avsnittet Cloud Bursting kanske du vill implementera en hub-spoke-konfiguration för att isolera dina beräkningsresurser:In addition to the network configurations available in the Cloud Bursting section, you may want to implement a hub/spoke configuration to isolate your compute resources:

HPC-programHPC applications

Köra anpassade eller kommersiella HPC-program i Azure.Run custom or commercial HPC applications in Azure. Flera av exemplen in det här avsnittet är testade för effektiv skalning med fler virtuella datorer eller beräkningskärnor.Several examples in this section are benchmarked to scale efficiently with additional VMs or compute cores. Distributionsfärdiga lösningar finns på Azure Marketplace.Visit the Azure Marketplace for ready-to-deploy solutions.

Anteckning

Fråga leverantören av kommersiella program om licensiering krävs eller om det finns andra begränsningar för körning i molnet.Check with the vendor of any commercial application for licensing or other restrictions for running in the cloud. Alla leverantörer erbjuder inte licensiering enligt modellen Betala per användning.Not all vendors offer pay-as-you-go licensing. Du kan behöva ha en licensserver i molnet för din lösning eller ansluta till en lokal licensserver.You might need a licensing server in the cloud for your solution, or connect to an on-premises license server.

Skapa programEngineering applications

Grafik och återgivningGraphics and rendering

AI och djupinlärningAI and deep learning

MPI-leverantörerMPI Providers

FjärrvisualiseringRemote visualization

PrestandamåttPerformance Benchmarks

KundberättelserCustomer stories

Många kunder har fått bra resultat genom att använda Azure för sina HPC-arbetsbelastningar.There are a number of customers who have seen great success by using Azure for their HPC workloads. Några av kundfallstudierna finns här:You can find a few of these customer case studies below:

Annan viktig informationOther important information

  • Se till att du har ökat din vCPU-kvot innan du försöker köra storskaliga arbetsbelastningar.Ensure your vCPU quota has been increased before attempting to run large-scale workloads.

Nästa stegNext steps

De senaste nyheterna finns här:For the latest announcements, see:

Microsoft Batch-exempelMicrosoft Batch Examples

I de här självstudierna får du information om hur du kör program på Microsoft BatchThese tutorials will provide you with details on running applications on Microsoft Batch