Azure'da Yüksek Performanslı Bilgi İşlem (HPC)

  • Makale
  • Okumak için 7 dakika

HPC'ye giriş

"Büyük İşlem" olarak da adlandırılan Yüksek Performanslı Bilgi İşlem (HPC), karmaşık matematiksel görevlere çözüm bulmak için çok fazla sayıda CPU veya GPU tabanlı bilgisayar kullanır.

HPC birçok sektörde en zor problemlerden bazılarını çözmek için kullanılır. Bunlar şu tür iş yükleridir:

  • Genomiks
  • Petrol ve doğalgaz benzetimleri
  • Finance
  • Yarı iletken tasarımı
  • Mühendislik
  • Hava durumu modelleme

Bulutta HPC ne açılardan farklıdır?

Şirket içi HPC sistemi ve bulutta bulunan birincil farklardan biri, kaynakların dinamik olarak eklenmesi ve kaldırılması için gerekli olan bir sistemdir. Dinamik ölçeklendirme işlem kapasitesinin yarattığı sorunları ortadan kaldırır ve bunun yerine müşterilerin iş gereksinimlerine göre altyapılarını doğru boyutlandırmalarına olanak tanır.

Aşağıdaki makalelerde bu dinamik ölçeklendirme özelliğiyle ilgili daha fazla ayrıntı sağlanır.

Uygulama denetim listesi

Azure'da kendi HPC çözümünüzü uygulamak istiyorsanız, aşağıdaki konuları gözden geçirdiğinizden emin olun:

  • Gereksinimleriniz temelinde uygun mimariyi seçin
  • İş yükünüz için hangi işlem seçeneklerinin uygun olduğunu öğrenin
  • İhtiyaçlarınızı karşılayacak doğru depolama çözümünü belirleyin
  • Tüm kaynaklarınızı nasıl yöneteceğinize karar verin
  • Uygulamanızı bulut için iyileştirin
  • Altyapınızın güvenliğini sağlayın

Altyapı

HPC sistemini oluşturmak için gereken bir dizi altyapı bileşeni vardır. HPC iş yüklerinizi nasıl yönetmeyi seçtiğinizden bağımsız olarak İşlem, Depolama ve Ağ temel bileşenleri oluşturur.

HPC mimarisi örnekleri

Azure'da çeşitli yollarla HPC mimarinizi tasarlayabilir ve uygulayabilirsiniz. Binlerce işlem çekirdeğine ölçeklendirilebilen HPC uygulamaları şirket içi kümeleri genişletebilir veya bulutta %100 yerel bir çözüm olarak çalıştırabilir.

Aşağıdaki senaryolarda HPC çözümlerini oluşturmak için yaygın yollardan birkaçı açıklanmıştır.

  • Diyagramda, Azure 'da bilgisayar destekli mühendislik hizmetleri için örnek HPC mimarisi gösterilmektedir.

    Azure üzerinde bilgisayar destekli mühendislik

    Azure üzerinde bilgisayar destekli mühendisliğe (CAE) yönelik bir hizmet olarak yazılım (SaaS) platformu sağlayın.

  • Diyagramda, Azure 'da akıcı Dynamics simülasyonu için örnek HPC mimarisi gösterilmektedir.

    Azure üzerinde hesaplamalı akışkanlar dinamiği (CFD) benzetimleri

    Azure üzerinde hesaplamalı akışkanlar dinamiğini (CFD) yürütün.

  • Diyagramda 3B video işleme için örnek HPC mimarisi gösterilmektedir.

    Azure üzerinde 3B video işleme

    Azure Batch hizmetini kullanarak Azure’da yerel HPC iş yüklerini çalıştırın

İşlem

Azure, hem CPU & GPU yoğun iş yükleri için iyileştirilmiş bir dizi boyut sunar.

CPU tabanlı sanal makineler

GPU özellikli sanal makineler

N serisi sanal makinelerde, yapay zeka (AI) öğrenmesi ve görselleştirmesi gibi yoğun işlem veya grafik kullanılan uygulamalar için tasarlanmış NVIDIA GPU'ları bulunur.

Depolama

Büyük ölçekli Batch ve HPC iş yüklerinin, geleneksel bulut dosya sistemlerinin kapasitelerini aşan veri depolama ve erişim talepleri vardır. Azure'da HPC uygulamalarının hem hız hem de kapasite gereksinimlerini yönetmeye yönelik bir dizi çözüm bulunur

Azure 'da Lustre, GlusterFS ve BeeGFS karşılaştırması hakkında daha fazla bilgi için Azure e-kitabı üzerindeki paralel dosyalar sistemlerini ve Azure blogda Lustre ' yi gözden geçirin.

Ağ

H16r, H16mr, A8 ve A9 sanal makineleri yüksek aktarım hızına sahip arka uç RDMA ağına bağlanabilir. Bu ağ Microsoft MPI veya Intel MPI altında çalıştırılan sıkı bir şekilde eşleştirilmiş paralel uygulamaların performansını geliştirebilir.

Yönetim

Kendi kendinize yapın

Azure'da sıfırdan bir HPC sistemi oluşturmak ciddi düzeyde bir esneklik getirir ama çoğunlukla yoğun bakım gerektirir.

  1. Azure sanal makinelerinde veya sanal makine ölçek kümelerinde kendi küme ortamınızı ayarlayın.
  2. Önde gelen iş yükü yöneticilerini, altyapıyı ve uygulamaları dağıtmak için Azure Resource Manager şablonlarını kullanın.
  3. MPI veya GPU iş yüklerinin özelleştirilmiş donanım ve ağ bağlantılarını içeren HPC ve GPU VM boyutlarını seçin.
  4. G/Ç açısından yoğun iş yükleri için yüksek performanslı depolama ekleyin.

Karma ve bulut seri aktarımı

Azure 'a bağlanmak istediğiniz mevcut bir şirket içi HPC sistemine sahipseniz, başlamanıza yardımcı olacak birkaç kaynak vardır.

İlk olarak, belgelerde Şirket içi ağı Azure'a bağlama seçenekleri makalesini gözden geçirin. Oradan sonra, şu bağlantı seçenekleriyle ilgili bilgi edinmek isteyebilirsiniz:

Güvenli bir ağ bağlantısı kurduktan sonra, mevcut iş yükü yöneticinizin seri aktarım özellikleriyle isteğe bağlı bulut bilişim kaynaklarını kullanmaya başlayabilirsiniz.

Market çözümleri

Azure Market'te bir dizi iş yükü yöneticisi sunulur.

Azure Batch

Azure Batch , bulutta etkin bir şekilde büyük ölçekli paralel ve yüksek performanslı bilgi Işlem (HPC) uygulamaları çalıştırmaya yönelik bir platform hizmetidir. Azure Batch, yönetilen sanal makineler havuzunda çalıştırılacak işlem yoğunluklu işi zamanlar ve işinizin gereksinimlerini karşılayacak işlem kaynaklarını otomatik olarak ölçekler.

SaaS sağlayıcıları ve geliştiricileri Batch SDK'larını ve araçlarını kullanarak HPC uygulamalarını veya kapsayıcı iş yüklerini Azure'la tümleştirebilir, verileri Azure'a hazırlayabilir ve iş yürütme işlem hatları oluşturabilir.

Azure CycleCloud

Azure CycleCloud Azure’da herhangi bir zamanlayıcı (örn. Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro veya Symphony) kullanarak HPC iş yüklerini yönetmenin en kolay yolunu sağlar

CycleCloud ile şunlar yapılabilir:

  • Tam kümeleri ve zamanlayıcı, bilgi işlem VM’leri, depolama, ağ ve önbellek dahil diğer kaynakları dağıtma
  • İş, veri ve bulut iş akışlarını düzenleme
  • Yöneticilere hangi kullanıcıların hangi işleri nerede ve hangi maliyetle çalıştırabileceği üzerinde tam denetim verme
  • Maliyet denetimleri, Active Directory tümleştirmesi, izleme ve raporlamayı içeren gelişmiş ilke ve yönetim özellikleri ile kümeleri özelleştirme ve iyileştirme
  • Geçerli iş zamanlayıcınızı ve uygulamalarınızı değişiklik yapmadan kullanma
  • Çeşitli HPC iş yükleri ve sektörler için yerleşik otomatik ölçeklendirme ve test edilmiş başvuru mimarilerinden yararlanma

İş yükü yöneticileri

Aşağıda, Azure altyapısında çalıştırılabilecek örnek küme ve iş yükü yöneticileri yer alır. Azure sanal makinelerinde tek başına kümeler oluşturun veya şirket içi kümesinden Azure sanal makinelerine seri aktarım yapın.

Kapsayıcılar

Kapsayıcılar bazı HPC iş yüklerini yönetmek için de kullanılabilir. Azure Kubernetes Service (AKS) gibi hizmetler, Azure'a yönetilen bir Kubernetes kümesi dağıtmayı kolaylaştırır.

Maliyet yönetimi

Azure'da HPC maliyetiniz, birkaç farklı yolla yönetilebilir. Kuruluşunuza en uygun yöntemi bulmak için Azure satın alma seçeneklerini gözden geçirdiğinizden emin olun.

Güvenlik

Azure'daki en iyi güvenlik yöntemlerine genel bir bakış için Azure Güvenlik Belgelerini gözden geçirin.

Bulut Seri Aktarımı bölümünde sağlanan ağ yapılandırmalarına ek olarak, işlem kaynaklarınızı yalıtmak için bir merkez/uç yapılandırması uygulamak isteyebilirsiniz:

HPC uygulamaları

Azure'da özel veya ticari HPC uygulamaları çalıştırın. Bu bölümdeki çeşitli örnekler ek sanal makineler veya işlem çekirdekleriyle verimli bir şekilde ölçeklendirme açısından değerlendirilmiştir. Dağıtıma hazır çözümler için Azure Market'i ziyaret edin.

Not

Bulutta çalışmayla ilgili lisans ya da başka kısıtlamalar için satıcıyla birlikte ticari uygulamaları denetleyin. Satıcıların tümü kullandıkça öde lisansı sunmaz. Çözümünüz için bulutta bir lisans sunucusu gerekebilir, bu olmuyorsa şirket içi bir lisans sunucusuna bağlanın.

Mühendislik uygulamaları

Grafik ve işleme

AI ve derin öğrenme

MPI sağlayıcıları

Uzaktan görselleştirme

Azure'da GPU destekli sanal makineleri en düşük gecikme süresi, erişim için HPC çıkışıyla aynı bölgede çalıştırın ve Azure Sanal Masaüstü, Citrix veya VMware Horizon aracılığıyla uzaktan görselleştirin.

Performans karşılaştırmaları

Müşteri hikayeleri

Birçok müşteri HPC iş yükleri için Azure kullanarak büyük başarı elde etmiştir. Aşağıda bu müşteri örnek olay incelemelerinin birkaçını bulabilirsiniz:

Diğer önemli bilgiler

  • Büyük ölçekli iş yüklerini çalıştırmayı denemeden önce vCPU kotanızın artırıldığından emin olun.

Sonraki adımlar

En son duyurular için bkz:

Microsoft Batch Örnekleri

Bu öğreticiler Microsoft Batch üzerinde uygulama çalıştırmayla ilgili ayrıntıları sağlayacaktır