Azure HPC nasıl çalışır?
HPC sisteminin dört ana bileşeni vardır: İşlem, Depolama, Ağ ve Görselleştirme.
İşlem
Yüksek performanslı bilgi işlem kaynakları, Azure'da neredeyse sınırsız ölçekte sunulur. Bellek, grafik ve yönetilen uygulamalar için farklı H serisi, N serisi ve Cray kullanabilirsiniz.
- Belleğe bağlı uygulamalar için H serisi sanal makineler
- Yoğun grafik ve CUDA/OpenCL tabanlı uygulamalar için N serisi sanal makineler
- Yönetilen hizmet olarak sunulan tamamen ayrılmış ve özelleştirilmiş bir süper bilgisayar için istek
Depolama
Yüksek oranda güvenli bulut depolama alanı, müşterilerin büyük ölçekte kullanımına sunulmuştur. HPC uygulamalarının HPC Önbelleği veya Azure NetApp dosyaları ya da Cray ClusterSor ile özelleştirerek verimli bir şekilde kullanmasına olanak tanır.
- Şirket içi NAS cihazlarında depolanan verileri kullanarak HPC Cache ile HPC uygulamalarınızı Azure’a aktarın.
- Azure veri merkezinde yerel olarak Azure hizmeti olarak sunulan Azure NetApp Files ile kısa bir gecikme süresiyle büyük miktarda G/Ç'ye erişin.
- Yüksek aktarım hızında bir depolama çözümü için, Azure’la tam olarak tümleştirilmiş Lustre tabanlı, tam HPC depolama çözümü olan Cray ClusterSor kullanın.
Ağ
Azure, bulutta özel sanal ağlar oluşturmanıza olanak tanır ve bu sayede ağ mimarisi basitleştirilir ve genel İnternet'e açık olan veriler devre dışı bırakılarak uç noktalar arasındaki bağlantı güvenli hale gelir.
- Azure ExpressRoute kullanarak hibrit bulut bağlantısı için özel, güvenli tüneller oluşturun.
- Veri merkezinizin içinde ileti geçirme arabirimi (MPI) iş yükleri için InfiniBand ile Linux doğrudan uzak bellek erişiminden (RDMA) yararlanın.
Görselleştirme
HpC ve Azure Sanal Makineler ile üretkenliği artıran, maliyetleri azaltan ve esnek dağıtımlara sahip görselleştirme iş yüklerini çalıştırın.
- GPU destekli Azure NV serisi Sanal Makineler’de (VM’ler) simülasyon verilerini görselleştirin ve akış, oyun, kodlama ve VDI senaryolarını çalıştırın.
- 3B CAD modelleme, 3B işleme ve bilimsel görselleştirme gibi en üst düzey GPU hızlandırılmış grafik uygulamaları için yüksek performanslı NVv3 serisi VM’leri kullanın.
- NVv3 VM’ler, premium depolama alanını destekler ve önceki NV VM’lerden iki kat daha fazla sistem belleğine (RAM) sahiptir.
Azure VM ve Depolama ürünlerini HPC sistemindeki bileşenlerle eşleme
Azure İşlem Sanal Makinesi Çözümleri
Düşük gecikme süresine sahip VM'ler (HPC SKU'ları)
Aşağıdaki H serisi ve N serisi VM'ler RDMA özelliklidir ve düşük gecikme süresi ve yüksek bant genişliğine sahip InfiniBand ağı üzerinden iletişim kurabilir. Bu tür bir bağlantı üzerindeki RDMA özelliği, dağıtılmış düğüm HPC ve AI iş yüklerinin ölçeklenebilirliğini ve performansını artırmak için kritik öneme sahiptir.
Hızlandırıcılı VM'ler
| CPU | GP-GPU | VİSUAL |
|---|---|---|
| HB serisi VM'ler akışkan dinamiği, açık sonlu eleman analizi ve hava durumu modellemesi gibi yoğun bellek kullanan uygulamalar için iyileştirilmiştir. HC serisi VM'ler, moleküler dinamikler, örtük sonlu eleman analizi ve hesaplama kimyası gibi yoğun işlem gücü kullanan uygulamalar için iyileştirilmiştir. |
NC serisi VM'ler NVIDIA Tesla K80 kart ve Intel Xeon E5-2690 v3 (Haswell) işlemci ile desteklenir. Kullanıcılar enerji keşfi uygulamaları, kilitlenme simülasyonları, işın izlemeli işleme, derin öğrenme ve daha fazlası için CUDA kullanarak verilerde daha hızlı bir şekilde kıvrılabilir. ND serisi VM'ler, gpu ailesine yapay zeka ve derin öğrenme iş yükleri için tasarlanmış yeni bir ektir. RDMA aracılığıyla ikincil düşük gecikme süreli, yüksek aktarım hızına sahip bir ağ ile yapılandırma sunar ve InfiniBand bağlantısı birçok GPU'ya yayılan büyük ölçekli eğitim işlerinin çalıştırılmasını sağlar. |
NV serisi VM'ler, müşterilerin verilerini veya simülasyonlarını görselleştirebildikleri masaüstü hızlandırılmış uygulamalar ve sanal masaüstleri için yapılır. Kullanıcıların üstün bir grafik özelliği elde etmek ve ayrıca kodlama ve işleme gibi tek duyarlıklı iş yüklerini çalıştırmak için yoğun grafik kullanan iş akışlarını NV örneklerinde görselleştirmesine olanak tanır. |
Azure Depolama Çözümleri
Azure Blob Depolama
Bulutta yerel iş yükleri, arşivler, veri gölleri, yüksek performanslı bilgi işlem ve makine öğrenmesi için yüksek oranda ölçeklenebilir ve güvenli nesne depolamaya olanak tanır. Kapsamlı veri yönetimi ile veri gölleri için ölçeklenebilir ve iyileştirilmiştir.
Temel tasarım özellikleri şunlardır:
- Görüntülerin veya belgelerin doğrudan bir tarayıcıya sunulması.
- Dağıtılan erişim için dosyaların depolanması.
- Video ve ses akışları.
- Günlük dosyalarına yazma.
- Yedekleme ve geri yükleme, olağanüstü durum kurtarma ve arşivleme için verilerin depolanması.
- Şirket içi veya Azure’da barındırılan bir hizmetle analiz için verilerin depolanması.
Azure NetApp Files
Kurumsal iş kolu ve depolama uzmanlarının kod değişikliği olmadan karmaşık, dosya tabanlı uygulamaları geçirmesini ve çalıştırmasını kolaylaştırır. POSIX uyumlu Linux ve Windows uygulamalarının, SAP HANA'nın, veritabanlarının ve kurumsal web uygulamalarının lift-shift geçişi gibi çeşitli senaryolarda temel alınan paylaşılan dosya depolama hizmeti olarak kullanılır.
Başlıca yararları şunlardır:
- %99,99 kullanılabilirlik, Yüksek performanslı, Güvenli.
- PaaS hizmeti – kullanımı ve yönetimi kolaydır.
- Çevrimiçi ölçeği artırma/azaltma boyutu ve/veya hizmet düzeyleri.
- Bölgeler Arası çoğaltma kullanarak veri koruması.
- Gelişmiş Kurumsal Veri Yönetimi özellikleri.
Azure Dosyaları
Azure Dosyalar, bulutta endüstri standardı Sunucu İleti Bloğu (SMB) protokolü veya Ağ Dosya Sistemi (NFS) protokolü aracılığıyla erişilebilen tam olarak yönetilen dosya paylaşımları sunar.
- Bulut veya şirket içi dağıtımlara eşzamanlı olarak bağlanabilir.
- Azure Dosyalar SMB dosya paylaşımları Windows, Linux ve macOS istemcilerinden erişilebilir.
- Azure Dosyalar NFS dosya paylaşımları Linux veya macOS istemcilerinden erişilebilir.
- Ayrıca Azure Dosyalar SMB dosya paylaşımları, verilerin kullanıldığı yerin yakınında hızlı erişim için Azure Dosya Eşitleme ile Windows Sunucularında önbelleğe alınabiliyor.
Şunlar için kullanışlıdır:
- Şirket içi dosya sunucularını değiştirme veya ekleme.
- Lift and shift uygulamaları.
- Bulut geliştirmeyi basitleştirme.
- Kapsayıcılı hale getirme.
Başlıca yararları şunlardır:
- Paylaşılan erişim
- Tam Olarak Yönetim
- Betik Oluşturma ve Araçlar
- Dayanıklılık
- Tanıdık Programlanabilirlik
Azure HPC Önbelleği
Azure HPC Önbelleği yüksek performanslı bilgi işlem (HPC) görevlerinde verilerinize erişimi hızlandırır.
- Azure HPC Önbelleği Azure'da dosyaları önbelleğe alarak, mevcut iş yükünüze bulut bilişimin ölçeklenebilirliğini getirir.
- Yerel veri merkezi ağa bağlı depolama (NAS) ortamınızda olduğu gibi, verilerinizin WAN bağlantıları arasında depolandığı iş akışları için bile kullanılabilir.
Kullanılması gereken durumlar:
- Yoğun okumalı dosya erişim iş akışı.
- NFS ile erişilebilir depolamada, Azure Blob'da veya her ikisinde depolanan veriler.
- En fazla 75.000 CPU çekirdeğine sahip işlem grupları.
Başlıca yararları şunlardır:
- Azure portalından başlatması ve izlemesi kolay. Mevcut NFS depolama alanı veya yeni Blob kapsayıcıları, toplanmış ad alanının bir parçası haline gelebilir ve bu da arka uç depolama hedefini değiştirseniz bile istemci erişimini basitleştirir.
- 8 GB/sn'ye kadar aktarım hızıyla yüksek performans, önbelleğe alınabilen iş yükleri için gecikme süresini azaltır.
- Değişen bilgi işlem talebini karşılayacak şekilde ölçeklenebilir.
- Birden fazla dosya kaynağını bir araya getiren toplanan ad alanı.
VM tabanlı dosya sistemleri
Tek VM NAS
- Bulut Tabanlı Ağa Bağlı Depolama (NAS), şirket içi NAS sistemiyle aynı yapıları kullanarak buluttaki depolama gereksinimlerini karşılamanıza yardımcı olur.
- Kuruluşlara bulutta ölçeklendirme olanağı ve mevcut uygulama arabirimlerinde ve işlemlerinde büyük değişiklikler yapmak zorunda kalmadan şirket içi NAS'leri kadar yüksek performanslı depolama sağlar.
- NAS, uygulamaların ve hizmetlerin ağdaki merkezi bir konumdan verilere erişmesini sağlayan merkezi bir depolama gerecidir.
- Sanal NAS, VMware, Hyper-V gibi sanallaştırma platformlarında çalışabilen NAS sistemlerinin sanal gereç sürümüdür.
Başlıca yararları şunlardır:
- Sanal NAS depolama alanına erişen ağ cihazları, yeniden yapılandırma olmadan aynı protokolleri kullanarak bunu yapmaya devam edebilir.
- Gerekli depolama alanı temel alınan sanallaştırma katmanından ayrılabildiğinden kapasite yönetimi de daha kolaydır.
Çok düğümlü Paralel dosya sistemleri
- Paralel dosya sistemleri blok düzeyinde depolamayı birden çok ağa bağlı depolama düğümü arasında dağıtır.
- Dosya verileri bu düğümler arasında yayılır, yani dosya verileri birden çok depolama cihazına yayılır. Ortak bir ad alanı üzerinden erişilebilen birden çok depolama düğümünde tek tek depolama G/Ç isteklerini havuza alır.
- Birden çok depolama cihazı ve birden çok veri yolu, yüksek düzeyde paralellik sağlamak için kullanılır ve aynı anda yalnızca tek bir düğüme erişilerek oluşan performans sorunlarını azaltır.
- Paralel dosya sistemleri iki ana parçaya ayrılır:
- Meta veri hizmetleri - Dosya adları, dizinler, erişim izinleri ve dosya düzeni gibi ad alanı meta verilerini depolayın. Paralel dosya sistemine bağlı olarak, meta veri hizmetleri genel bir depolama düğümü dağıtımının tümleşik bir parçası olarak veya ayrı bir sunucu kümesi aracılığıyla sağlanır.
- Nesne depolama - Nesne depolama gerçek dosya verilerini içerir. İstemciler meta veri hizmetlerinden dosya ve dizinlerin konumunu çeker, ardından doğrudan dosya depolamaya erişer.
- Dağıtılmış depolamanın ve üstün G/Ç performansının avantajları, özellikle paylaşılan çalışma depolama alanı söz konusu olduğunda paralel dosya sistemlerinin çoğu HPC senaryosunda NFS'ye tercih olmasını sağlar.
Cray ClusterStor
Azure depolama sistemindeki Cray ClusterStor, HPC simülasyonlarınızı hızlandırmak için yüksek kapasiteli ve yüksek aktarım hızına sahip bir depolama çözümüdür.
Azure dokusuyla tamamen tümleştirilmiş ve çok çeşitli diğer Azure hizmetleri tarafından erişilebilen çıplak bir alettir.
Azure'daki Cray ClusterStor, Microsoft Azure'da Lustre tabanlı, tek kiracılı, çıplak ve tam olarak yönetilen bir HPC ortamı sunar.
Başlıca yararları şunlardır:
- Cray XC ve CS serisi süper bilgisayarlarla kullanılabilir ve artık Azure'dan H serisi sanal makinelerde yürütülen HPC işlerinin veri işlemesini de desteklemektedir.
- Verilerinizi Azure'da yüksek performanslı sıfırdan, sıcak Azure blob depolama ve soğuk arşiv depolamaya taşıyabilir.
- Simülasyon sırasında yüksek performansa ve kapasiteye erişim elde edin. Simülasyon sonrası verileri yedekli, daha ucuz bir bulut depolama çözümüne taşıarak kolayca dağıtılabilir veya bir sonraki simülasyonunuz için kullanılabilir hale getirebilirsiniz.
- Lustre Nesne Depolama Sunucuları (OSS) başına GB/sn cinsinden aktarım hızının şu anda kullanılabilir olan Lustre teklifinden üç kat daha fazla aktarım hızına olanak tanır.