Batch havuzlarında RDMA veya GPU örnekleri kullanma

Belirli Batch işlerini çalıştırmak için büyük ölçekli hesaplama için tasarlanmış Azure VM boyutlerinden faydalanabilirsiniz. Örnek:

• Çok örnekli MPI iş yükleriniçalıştırmak için, H serisini veya Uzak Doğrudan Bellek Erişimi (RDMA) için ağ arabirimine sahip diğer boyutları seçin. Bu boyutlar düğümler arası iletişim için bir InfiniBand ağına bağlanarak MPI uygulamalarını hızlandırır.

• CUDA uygulamaları için NVIDIA Tesla grafik işleme birimi (GPU) kartları içeren N serisi boyutları seçin.

Bu makalede, Batch havuzlarında Azure'ın özelleştirilmiş boyutlarından bazılarının kullanımına yönelik kılavuzlar ve örnekler verilmiştir. Özellikler ve arka plan için bkz:

• Yüksek performanslı işlem VM boyutları (Linux, Windows)

• GPU özellikli VM boyutları (Linux, Windows)

Bağımlılıklar

Batch'te yoğun işlem gücü kullanımlı boyutların RDMA veya GPU özellikleri yalnızca belirli işletim sistemlerinde de kullanılabilir. (Desteklenen işletim sistemlerinin listesi, bu boyutlarda oluşturulan sanal makineler için desteklenenlerin bir alt kümesidir.) Batch havuzu oluşturma işleminize bağlı olarak düğümlere ek sürücü veya diğer yazılımları yüklemeniz veya yapılandırmanız gerekir. Aşağıdaki tablolarda bu bağımlılıklar özetlenmiştir. Ayrıntılar için bağlantılı makalelere bakın. Batch havuzlarını yapılandırma seçenekleri için bu makalenin devamlarına bakın.

Linux havuzları - Sanal makine yapılandırması

^*RDMA özellikli N serisi boyutları NVIDIA Tesla GPU'larını da içerir

Windows havuzları - Sanal Makine Yapılandırması

^*RDMA özellikli N serisi boyutları NVIDIA Tesla GPU'larını da içerir

Windows havuzları - Cloud Services Yapılandırması

Havuz yapılandırma seçenekleri

Batch havuzunuz için özelleştirilmiş bir VM boyutu yapılandırmak üzere gerekli yazılımları veya sürücüleri yüklemek için çeşitli seçenekleriniz vardır:

• Sanal makine yapılandırmasında havuzlar için, sürücülerin ve yazılımların önceden yüklenmiş olduğu Azure Market vm görüntüsü için önceden yapılandırılmış bir vm görüntüsü seçin. Örnekler:

  • CentOS tabanlı 7.4 HPC - RDMA sürücülerini ve Intel MPI 5.1'i içerir

  • Linux Veri Bilimi Sanal Makinesi için Windows - NVIDIA CUDA sürücülerini içerir

  • GPU ve RDMA sürücülerini de içeren Batch kapsayıcısı iş yükleri için Linux görüntüleri:

    • Kapsayıcı havuzları için CentOS (GPU ve RDMA Azure Batch sürücüleriyle)

    • Kapsayıcı havuzları için Ubuntu Server (GPU ve RDMA Azure Batch ile)

• Sürücüleri, Windows veya VM boyutu için gereken diğer ayarları yüklemiş olduğunu linux VM görüntüsü için özel bir sanal makine oluşturun.

• Sıkıştırılmış sürücü veya uygulama yükleyiciden bir Batch uygulama paketi oluşturun ve Batch'i, paketi havuz düğümlerine dağıtacak ve her düğüm oluşturulduğunda bir kez yük devredacak şekilde yapılandırın. Örneğin, uygulama paketi bir yükleyiciyse, uygulamayı tüm havuz düğümlerine sessizce yüklemek için bir başlangıç görevi komut satırı oluşturun. İş yükünüz belirli bir sürücü sürümüne bağlı ise bir uygulama paketi ve havuz başlangıç görevi kullanmayı göz önünde bulundurabilirsiniz.

  Not

  Başlangıç görevi yükseltilmiş (yönetici) izinleriyle çalışmalı ve başarılı olmak için beklemeli. Uzun süre çalışan görevler Batch havuzu sağlama sürelerini artıracaktır.

• Batch Shipyard, GPU ve RDMA sürücülerini otomatik olarak iş yüklerinde kapsayıcılı iş yükleriyle saydam olarak çalışacak Azure Batch. Batch Shipyard tamamen yapılandırma dosyalarıyla çalıştırılır. N serisi VM'lerde GPU sürücülerini önceden yapılandıran ve Docker görüntüsü olarak yazılım yüklerini yük CNTK GPU Tarifi gibi GPU ve RDMA iş yüklerini etkinleştiren birçok Microsoft Cognitive Toolkit örnek tarif yapılandırması vardır.

Örnek: NC VM havuzu üzerinde Windows NVIDIA GPU sürücüleri

NC düğümlerinin bir havuzunda CUDA Windows çalıştırmak için NVDIA GPU sürücülerini yüklemeniz gerekir. Aşağıdaki örnek adımlar NVIDIA GPU sürücülerini yüklemek için bir uygulama paketi kullanır. İş yükünüz belirli bir GPU sürücüsü sürümüne bağlı ise bu seçeneği kullanabilirsiniz.

1. NVIDIA web sitesinden ( örneğin, sürüm 411.82)Windows Server 2016 GPU sürücüleri için bir kurulum paketi indirin. dosyayı yerel olarak kaydetmek için gibi kısa bir ad GPUDriverSetup.exe.
2. Paketin bir zip dosyasını oluşturun.
3. Upload Batch hesabınıza girin. Adımlar için uygulama paketleri kılavuzuna bakın. GPUDriver gibi bir uygulama kimliği ve 411.82 gibi bir sürüm belirtin.
4. Batch API'lerini veya Azure portal, istenen sayıda düğüm ve ölçekle sanal makine yapılandırmasında bir havuz oluşturun. Aşağıdaki tabloda, NVIDIA GPU sürücülerini bir başlangıç görevi kullanarak sessizce yüklemek için örnek ayarlar yer alır:

Örnek: Linux NC VM havuzu üzerinde NVIDIA GPU sürücüleri

CuDA uygulamalarını Linux NC düğümlerinin bir havuzunda çalıştırmak için CUDA Araç Seti'nde gerekli NVIDIA Tesla GPU sürücülerini yüklemeniz gerekir. Aşağıdaki örnek adımlar GPU sürücülerini kullanarak özel bir Ubuntu 16.04 LTS görüntüsü oluşturun ve dağıtın:

1. Ubuntu 16.04 LTS çalıştıran bir Azure NC serisi VM dağıtın. Örneğin, vm'yi ABD Orta Güney oluşturun.
2. Azure aboneliğine bağlanan bir istemci bilgisayar veya Azure portal kullanarak NVIDIA GPU Sürücüleri uzantısını VM'ye Azure Cloud Shell. Alternatif olarak, VM'ye bağlanmak ve CUDA sürücülerini el ile yüklemek için adımları izleyin.
3. Batch için galeri Azure İşlem oluşturmak için adımları izleyin.
4. NC VM'lerini destekleyen bir bölgede Batch hesabı oluşturun.
5. Batch API'lerini veya Azure portal kullanarak, özel görüntüyü kullanarak ve istenen düğüm sayısı ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, görüntünün örnek havuz ayarları gösterir:

Örnek: Bir H16r VM Windows Microsoft MPI

Azure H16r VM Windows havuzunda MPI uygulamalarını çalıştırmak için HpcVmDrivers uzantısını yapılandırmanız ve Microsoft MPI'yiyüklemeniz gerekir. Gerekli sürücüler ve yazılımlarla özel bir Windows Server 2016 dağıtımı için örnek adımlar:

1. Sanal makine çalıştıran bir Azure H16r VM Windows Server 2016. Örneğin, vm'yi ABD Batı oluşturun.
2. Azure aboneliğinize bağlanan bir istemci bilgisayardan bir Azure PowerShell komutu çalıştırarak veya azure aboneliğinizi kullanarak HpcVmDrivers uzantısını VM'ye Azure Cloud Shell.
3. VM'ye Uzak Masaüstü bağlantısı açın.
4. Microsoft MPI'nin en son MSMpiSetup.exe kurulum paketini (MSMpiSetup.exe) indirin ve Microsoft MPI'yi yükleyin.
5. Batch için galeri Azure İşlem oluşturmak için adımları izleyin.
6. Batch API'lerini veya Azure portal kullanarak, Azure İşlem Galerisi'ni kullanarak ve istediğiniz sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, görüntünün örnek havuz ayarları gösterir:

Örnek: Linux H16r VM havuzunda Intel MPI

MPI uygulamalarını Linux H serisi düğümlerden bir havuz üzerinde çalıştırmak için seçeneklerden biri, ağdan Alınan CentOS tabanlı 7.4 HPC görüntüsünü Azure Market. Linux RDMA sürücüleri ve Intel MPI önceden yüklenmiştir. Bu görüntü, Docker kapsayıcısı iş yüklerini de destekler.

Batch API'lerini veya Azure portal kullanarak, bu görüntüyü kullanarak ve istenen düğüm sayısı ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda örnek havuz ayarları gösterir:

Sonraki adımlar

• mpı işlerini bir Azure Batch havuzunda çalıştırmak için, Windows veya Linux örneklerine bakın.

• Toplu Iş üzerinde GPU iş yükleri örnekleri için bkz. Batch Shipbahçe tariflerine bakın.