Büyük işlem mimarisi stiliBig compute architecture style

Büyük işlem terimi, genellikle yüzler veya binler ile ifade edilen çok sayıda çekirdek gerektiren büyük ölçekli iş yüklerini tanımlar.The term big compute describes large-scale workloads that require a large number of cores, often numbering in the hundreds or thousands. Görüntü işleme, sıvı dinamiği, finansal risk modelleme, petrol keşfi, ilaç tasarımı ve mühendislik gerilimi analizi gibi çeşitli senaryolar vardır.Scenarios include image rendering, fluid dynamics, financial risk modeling, oil exploration, drug design, and engineering stress analysis, among others.

Büyük işlem mimarisi stili için mantıksal diyagramı

Büyük işlem uygulamalarının tipik özelliklerinden bazıları şunlardır:Here are some typical characteristics of big compute applications:

  • İş, pek çok çekirdekte aynı anda çalıştırılabilecek ayrı görevlere bölünebilir.The work can be split into discrete tasks, which can be run across many cores simultaneously.
  • Her görev sonludur.Each task is finite. Bir girdiyi alır, bir işlem yapar ve çıktı üretir.It takes some input, does some processing, and produces output. Uygulamanın tamamı sınırlı bir süreliğine (dakika-gün) çalışır.The entire application runs for a finite amount of time (minutes to days). Yaygın olarak kullanılan bir düzen, tek seferde çok sayıda çekirdek sağlama ve uygulama tamamlandığında hepsini kapatarak sıfır çekirdeğe dönme modelidir.A common pattern is to provision a large number of cores in a burst, and then spin down to zero once the application completes.
  • Uygulamanın 7/24 açık kalması gerekmez.The application does not need to stay up 24/7. Bununla birlikte, sistemin düğüm hatalarını veya uygulama kilitlenmelerini işlemesi gerekir.However, the system must handle node failures or application crashes.
  • Bazı uygulamalarda görevler birbirinden bağımsızdır ve paralel olarak çalıştırılabilir.For some applications, tasks are independent and can run in parallel. Bazı durumlarda ise görevler birbirine sıkı bir şekilde bağlıdır, yani birbiriyle etkileşim kurmaları veya ara sonuç alışverişi yapmaları gerekir.In other cases, tasks are tightly coupled, meaning they must interact or exchange intermediate results. Bu durumda, InfiniBand ve doğrudan uzak bellek erişimi (RDMA) gibi yüksek hızlı ağ teknolojileri kullanmayı göz önünde bulundurun.In that case, consider using high-speed networking technologies such as InfiniBand and remote direct memory access (RDMA).
  • İş yükünüze bağlı olarak, yoğun işlem gücü kullanımlı VM boyutlarını (H16r, H16mr ve A9) kullanabilirsiniz.Depending on your workload, you might use compute-intensive VM sizes (H16r, H16mr, and A9).

Bu mimarinin kullanılacağı durumlarWhen to use this architecture

  • Simülasyon ve sayısal hesaplama gibi yoğun işlem gücü gerektiren işlemler.Computationally intensive operations such as simulation and number crunching.
  • Yoğun işlem gücü gerektiren ve birden çok bilgisayarın (on veya binlerce bilgisayar) CPU’larına bölünmesi gereken simülasyonlar.Simulations that are computationally intensive and must be split across CPUs in multiple computers (10-1000s).
  • Bir bilgisayarın sahip olamayacağı kadar bellek gerektiren ve birden fazla bilgisayara bölünmesi gereken simülasyonlar.Simulations that require too much memory for one computer, and must be split across multiple computers.
  • Tek bir bilgisayarda tamamlanması çok uzun sürecek, uzun süre çalışan hesaplamalar.Long-running computations that would take too long to complete on a single computer.
  • Monte Carlo simülasyonları gibi yüzlerce veya binlerce kez çalıştırılması gereken küçük hesaplamalar.Smaller computations that must be run 100s or 1000s of times, such as Monte Carlo simulations.

AvantajlarBenefits

  • "Utandırıcı derecede paralel" işleme ile yüksek performans.High performance with "embarrassingly parallel" processing.
  • Yüzlerce veya binlerce bilgisayar çekirdeğinden yararlanarak büyük sorunları daha hızlı çözebilir.Can harness hundreds or thousands of computer cores to solve large problems faster.
  • Yüksek hızlı adanmış InfiniBand ağlar ile özel yüksek performanslı donanıma erişim.Access to specialized high-performance hardware, with dedicated high-speed InfiniBand networks.
  • İş için gereken şekilde sanal makineler sağlayabilir, sonra bunları kapatabilirsiniz.You can provision VMs as needed to do work, and then tear them down.

ZorluklarChallenges

  • VM altyapısını yönetme.Managing the VM infrastructure.
  • Sayısal hesaplama hacmini yönetmeManaging the volume of number crunching
  • Doğru zamanda binlerce çekirdek sağlama.Provisioning thousands of cores in a timely manner.
  • Sıkı şekilde bağlı görevler için daha fazla sayıda çekirdek eklemenin olumsuz sonuçları olabilir.For tightly coupled tasks, adding more cores can have diminishing returns. En uygun çekirdek sayısını bulmak için çeşitli denemeler yapmanız gerekebilir.You may need to experiment to find the optimum number of cores.

Azure Batch kullanarak büyük işlemBig compute using Azure Batch

Azure Batch, büyük ölçekli ve yüksek performanslı bilgi işlem (HPC) uygulamaları çalıştırmaya yönelik, yönetilen bir hizmettir.Azure Batch is a managed service for running large-scale high-performance computing (HPC) applications.

Azure Batch kullanırken, bir VM havuzu yapılandırıp uygulama ve veri dosyalarını karşıya yüklersiniz.Using Azure Batch, you configure a VM pool, and upload the applications and data files. Sonra, Batch hizmeti VM’leri sağlar, görevleri VM'lere atar, çalıştırır ve ilerleme durumunu izler.Then the Batch service provisions the VMs, assign tasks to the VMs, runs the tasks, and monitors the progress. Batch, iş yüküne yanıt olarak VM’lerin ölçeğini otomatik olarak artırabilir.Batch can automatically scale out the VMs in response to the workload. Batch ayrıca iş zamanlaması sağlar.Batch also provides job scheduling.

Azure Batch kullanarak büyük işlem diyagramı

Sanal Makinelerde çalışan büyük işlemBig compute running on Virtual Machines

Microsoft HPC Pack kullanarak bir VM kümesini yönetebilir ve HPC işlerini zamanlayıp izleyebilirsiniz.You can use Microsoft HPC Pack to administer a cluster of VMs, and schedule and monitor HPC jobs. Bu yaklaşımda, sanal makineleri ve ağ altyapısını sizin sağlayıp yönetmeniz gerekir.With this approach, you must provision and manage the VMs and network infrastructure. Mevcut HPC iş yükleriniz varsa bunların bazılarını veya tümünü Azure'a taşımak istiyorsanız bu yaklaşımı göz önünde bulundurun.Consider this approach if you have existing HPC workloads and want to move some or all it to Azure. HPC kümesinin tamamını Azure'a taşıyabilir veya HPC Kümesi şirket içi tutmak ancak Azure'ı kapasite aşımı için kullanabilirsiniz.You can move the entire HPC cluster to Azure, or you can keep your HPC cluster on-premises but use Azure for burst capacity. Daha fazla bilgi için bkz. Büyük ölçekli bilgi işlem iş yükleri için Batch ve HPC çözümleri.For more information, see Batch and HPC solutions for large-scale computing workloads.

Azure'a dağıtılan HPC PackHPC Pack deployed to Azure

Bu senaryoda, HPC kümesi tamamen Azure içinde oluşturulur.In this scenario, the HPC cluster is created entirely within Azure.

Azure'a dağıtılan HPC Pack diyagramı

Baş düğüm, kümeye yönetim ve iş zamanlama hizmetleri sağlar.The head node provides management and job scheduling services to the cluster. Sıkı şekilde bağlı görevler için çok yüksek bant genişliği ve VM'ler arasında düşük gecikme süreli iletişim sağlayan bir RDMA ağı kullanın.For tightly coupled tasks, use an RDMA network that provides very high bandwidth, low latency communication between VMs. Daha fazla bilgi için bkz. Azure’da HPC Pack 2016 kümesi dağıtma.For more information see Deploy an HPC Pack 2016 cluster in Azure.

HPC kümesinin Azure’de ortaya çıkmasıBurst an HPC cluster to Azure

Bu senaryoda, bir kuruluş şirket içinde HPC Pack çalıştırır ve kapasite aşımı için Azure VM'leri kullanır.In this scenario, an organization is running HPC Pack on-premises, and uses Azure VMs for burst capacity. Küme baş düğümü şirket içindedir.The cluster head node is on-premises. Şirket içi ağ, ExpressRoute veya VPN Gateway aracılığıyla Azure VNet’e bağlanır.ExpressRoute or VPN Gateway connects the on-premises network to the Azure VNet.

Karma büyük işlem kümesi diyagramı