Batch AI kümeleriyle çalışma

Makale
08/14/2018

bu makalede Azure Batch aı içindeki kümelerle nasıl çalışılacağı açıklanmaktadır. Küme kavramını, olası yapılandırma türlerini ve örnekleri tanıtır. Bu makalede bir küme oluşturma ve yönetme örneklerinin çoğu Azure CLı 'yi kullanır. bununla birlikte, kümeler ile çalışmak için Azure portal ve Azure Batch aı sdk 'ları dahil diğer araçları kullanabilirsiniz.

Batch AI küme, hizmette bulunan birçok kaynaktan biridir. Hizmet içindeki kümelerin kapsamını anlamak için Batch AI kaynaklarına genel bakış bölümüne bakın.

Kümelere giriş

Batch AI bir küme, Machine Learning ve AI eğitim işlerini çalıştırmaya yönelik işlem kaynaklarını içerir. Bir kümedeki tüm düğümler aynı VM boyutuna ve işletim sistemi görüntüsüne sahiptir. Batch AI, farklı gereksinimlere özelleştirilmiş kümeler oluşturmaya yönelik birçok seçenek sunar. Genellikle, bir projeyi tamamlaması gereken her bir işleme gücü kategorisi için farklı bir küme ayarlarsınız. Bir kümedeki düğümlerin sayısını talep ve bütçeye göre yukarı ve aşağı ölçeklendirebilirsiniz. Kümeler bir ekip arasında sağlanabilir ve paylaşılabilir veya bireyler her birinin kendi kümesini sağlamasını sağlayabilir.

Her küme, çalışma alanıadı verilen bir Batch AI kaynağı altında bulunur. Herhangi bir kümeyi sağlamadan önce bir Batch AI çalışma alanı ayarlamış olmanız gerekir. Örneğin, Azure CLı kullanıyorsanız, bir çalışma alanı ayarlamak için az batchaı çalışma alanı oluştur komutunu kullanın.

Bir küme oluşturduktan sonra, işleri bir seferde bir sıraya gönderebilirsiniz. Batch AI, küme üzerinde işleri çalıştırmak için kaynak ayırma işlemini işler.

Küme yapılandırma seçenekleri

Bir küme planlarken, önce işlem gereksinimlerinizi saptayın. Batch AI, bir kümeyi gereksinimlerinize uyarlayabilmeniz için esnek yapılandırma seçenekleri sunar. Aşağıda, bir küme sağlanırken göz önünde bulundurmanız gereken Majors seçenekleri verilmiştir:

VM boyutu -küme düğümleri için desteklenen bir bölgede kullanılabilir olan sanal makine boyutunu seçin. Her küme yalnızca bir sanal makine boyutu içerebilir, bu nedenle görevleriniz birden çok türde VM gerektiriyorsa, her bir işlem gereksinimi türü için ayrı bir küme sağlamanız gerekir. GPU 'ların sağladığı çerçevelerle geliştirilen makine öğrenimi veya AI modellerini eğitmek için bkz. Azure 'da GPU IYILEŞTIRILMIŞ VM boyutları .
VM önceliği -Batch AI bir küme için adanmış veya düşük öncelikli VM 'ler sunar. Adanmış VM 'Ler, kümede kullanımınız için ayrılmıştır. Düşük öncelikli seçeneği, Azure geri kazanır VM 'Leri, Azure 'da VM 'Ler ise önceden meydana getirmekte olan iş olasılığına karşı, kullanılmayan Azure VM kapasitesini Exchange 'e göre önemli bir maliyet tasarruflarına ayırır. Düşük öncelikli bir VM 'de 24 saatten uzun süre çalışan işler de otomatik olarak önceden oluşur. Bütçe bir sorun oluşturacaksa, kısa deneme işleri için düşük öncelikli VM 'Ler kullanmayı göz önünde bulundurun. Ardından, daha uzun işler çalıştırma zamanı olduğunda adanmış VM 'lere geçiş yapın.
Düğüm sayısı -Batch AI kümedeki düğüm sayısı için el ile ve otomatik ölçeklendirme seçenekleri sunar. El ile seçeneğiyle, bir kümenin ölçeğini yukarı ve aşağı ölçeklendirerek kendi işlem maliyetlerinizi yönetebilirsiniz. Otomatik ölçeklendirme seçeneği, bunu kullanmadığınız sırada kümenin her zaman aşağı ölçeklendirilmesini sağlar, böylece işlem maliyetlerinizi en aza indirmiş olursunuz.

Kümeyi el ile ölçeklendirmeye seçerseniz, küme oluşturma sırasında başlangıç hedefini tanımlarsınız. Hedef, Batch AI başlangıçta ayrılan düğümlerin sayısıdır. Daha sonra, düğüm sayısını el ile yeniden boyutlandırabilirsiniz.

Otomatik ölçeklendirme seçeneğini belirlerseniz, küme oluşturma sırasında hedef düğümlerin maksimum ve en düşük sayısını tanımlarsınız. Hedef, Batch AI çekirdekleri kotasınındesteklediği en fazla düğüm sayısına 0 göre değişebilir. 0 ' ın hedefi, herhangi bir işlem maliyeti için ücret ödemeniz gerekmeden küme yapılandırmanızı korumanıza olanak sağlar. Kota sınırınızı desteklediğinden daha yüksek bir hedef istemeniz durumunda sağlama başarısız olur.
VM görüntüsü -Batch AI varsayılan olarak, kapsayıcı iş yüklerini destekleyen varsayılan bir Ubuntu sunucu görüntüsüne sahip küme VM 'lerini sağlar. Azure Market, Veri Bilimi Sanal Makinesigibi önceden yapılandırılmış başka bir Linux görüntüsünü seçebilirsiniz.
Depolama Batch AI, Azure clı kullanarak bir küme oluşturduğunuzda seçebileceğiniz bir otomatik depolama seçeneği sunar. Bu seçenek, yeni bir depolama hesabı altında otomatik olarak bir Azure dosya paylaşımının ve BLOB kapsayıcısı oluşturur. Bu depolama kaynakları, yürütme süresi boyunca kümedeki düğümlerin her birine bağlanır ve dosyalara yerel yoldan erişilmesine izin verir. Depolama hesabı adları, dosya paylaşımının adı, blob kapsayıcısı adı ve bağlama yollarının hepsi, küme oluşturma sırasında ek parametreler kullanılarak özelleştirilebilecek varsayılan değerlere sahiptir.

Hiçbir depolama seçeneği tanımlanmamışsa, depolama kaynaklarını ayrı olarak oluşturmanız ve işleri gönderirken tanımlamanız gerekir. Kümeniz kuruluş düzeyinde yönetiliyorsa, ancak depolama alanı kullanıcı düzeyinde yönetiliyorsa Bu seçenek faydalıdır. azure Depolama 'a dosya yükleme ve yürütme sırasında bunlara erişme hakkında daha fazla bilgi için bkz. azure Depolama ile Batch AI iş girişini depolama ve çıkış.
Kullanıcı erişimi -Batch AI bir küme oluştururken ortak ve özel SSH anahtar dosyaları oluşturmanıza veya tek tek düğümlere SSH yapabilmeniz IÇIN kendi SSH anahtarlarınızı girmenize olanak sağlar. Ayrıca, bir Kullanıcı adı (varsayılan olarak geçerli kullanıcı olarak ayarlanır) ve parola tanımlayabilirsiniz. Bu kimlik bilgileri, çeşitli ölçümleri görüntülemek veya işleriniz hakkında daha ayrıntılı bilgi edinmek için yürütme sırasında düğümlere erişmek üzere kullanılabilir.
Kurulum görevi -Batch AI, ayırma sırasında her düğümde yürütülecek komut satırı bağımsız değişkenlerini tanımlamanızı sağlar. Ayrıca, çıkış dosyasının günlüğe kaydedileceği yolu da tanımlayabilirsiniz. Temel görüntünün ötesinde ek sağlama adımlarınız olduğunda bu seçeneği kullanın.
Ek yapılandırma -daha az sayıda yaygın senaryo vardır ve bu da daha fazla özelleştirilmiş yapılandırma gerektirebilir. Bu durumda, bir küme oluşturmak için Azure CLı komutuyla bir küme yapılandırma dosyası eklenebilir.

Kümeyi oluşturma

küme yapılandırma seçeneklerine karar verdikten sonra, kümeyi oluşturmak için Azure clı, Azure portal veya Batch AI apı 'lerini kullanın. Örneğin, Azure CLı kullanarak bir küme oluşturmak için az batchaı kümesi Create belgelerini izleyerek ihtiyacınız olan konfigürasyonları size sağlayan tam komutu oluşturabilirsiniz.

En temel yapılandırmada aşağıdaki komut, bir düğüm ve SSH erişimiyle Standard_NC6 kümesi sağlar. Varsayılan olarak, bu küme en son varsayılan Ubuntu sunucu görüntüsünü çalıştıran adanmış VM 'Leri içerir.

az batchai cluster create \
    --name mycluster \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP> \
    --vm-size Standard_NC6 \
    --target 1 \
    --generate-ssh-keys

Aşağıdaki örnek, 0 ile 4 arasında düğümleri otomatik olarak ölçeklendiren bir Standard_NC6 kümesi sağlar ve düşük öncelikli düğümleri ve bir otomatik depolama hesabı kullanır. Düşük maliyetli ve yönetilmesi kolay bir kümeye ihtiyacınız varsa bu kurulum iyi bir yapılandırmadır.

az batchai cluster create \
    --name mycluster \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP> \
    --vm-size Standard_NC6 \
    --vm-priority lowpriority \
    --max 4 \
    --min 0 \
    --use-auto-storage

aşağıdaki örnek, bir Veri Bilimi Sanal Makinesi görüntüsü, özel depolama ve bağlama seçenekleri, özel SSH kimlik bilgileri, unzip paketini yükleyen bir kurulum görevi ve ek kurulum için bir küme yapılandırma dosyası içeren bir Standard_NC6 kümesi sağlar. Bu yapılandırma, kendi gereksinimlerinize göre daha özelleştirilmiş bir kümenin örneğidir.

az batchai cluster create \
    --name mycluster \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP> \
    --vm-size Standard_NC6 \
    --image UbuntuDSVM \ 
    --config-file cluster.json \
    --setup-task 'apt install unzip -y'
    --storage-account-name <STORAGE ACCOUNT NAME> \
    --nfs-name nfsmount \
    --afs-name afsmount \
    --bfs-name bfsmount \
    --user-name adminuser \
    --ssh-key id_rsa.pub \
    --password secretpassword

Kümeyi izleme

Az batchaı Cluster List, az batchaı Cluster Showve az batchaı cluster node List komutları, kümelerin her birine ilişkin çeşitli bilgileri izlemek için kullanılabilir.

Tüm kümeleri listeleme

Aşağıdaki komut, bir çalışma alanındaki kümelerin cepler.

az batchai cluster list \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP>

Bir küme hakkındaki bilgileri göster

Aşağıdaki komut, bir tablo biçiminde belirli bir küme hakkındaki tam bilgileri gösterir.

az batchai cluster show \
    --name <CLUSTER NAME> \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP> \
    --output table

Kümeniz otomatik depolama seçeneği kullanılarak sağlandıysa, betikler ve eğitim işleri yüklenirken kullanılacak depolama hesabı adını almak isteyeceksiniz. Aşağıdaki komutu kullanın:

az batchai cluster show \
    --name <CLUSTER NAME> \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP> \
    --query "nodeSetup.mountVolumes.azureFileShares[0].{storageAccountName:accountName}"

Çıktı aşağıdakine benzer olmalıdır.

{
  "storageAccountName": "baixxxxxxxxx"
}

Küme düğümlerini listeleme

Küme düğümlerine bağlanmanız gerekirse, aşağıdaki komut düğümlerin ve bağlantı bilgilerinin listesini alır.

az batchai cluster node list \
    --name <CLUSTER NAME> \
    --workspace <WORKSPACE> \
    --resource-group <RESOURCE GROUP>

Her düğüm için çıkış aşağıdakine benzer olacaktır:

[
  {
    "ipAddress": "40.68.xxx.xxx",
    "nodeId": "tvm-xxxxxxxxxx-xxxxxxxx",
    "port": 50000.0
  }
]

Aşağıdakine benzer bir komut kullanarak bir düğüme SSH bağlantısı oluşturmak için bu bilgileri kullanabilirsiniz.

ssh myusername@40.68.xxx.xxx -p 50000

İşleri kümeye gönder

Kümeyi sağlamaktan sonra, düğümleri düğümlerde çalışacak şekilde gönderebilirsiniz. Azure CLı kullanarak işleri hazırlamak, göndermek ve izlemek için farklı yollar için az batchaı Job komutuna bakın.

Daha sonra kullanılmak üzere kümeyi aşağı ölçeklendirin

İşlerinizi çalıştırmayı bitirdikten sonra kümenizin ölçeğini azaltmak isteyeceksiniz. İşlem maliyetlerini kaydetmek için kullanılmayan kümelerin her zaman aşağı ölçeklendirilmesi önerilir. Bir kümeyi 0 düğümlere azaltmak, daha sonra ölçeği yeniden ölçeklendirmeniz gerektiğinde daha sonra kümeleri yeniden sağlamaya gerek kalmadan faturalandırma ücretlerinizi durdurmanızı sağlar. Küme oluştururken otomatik ölçeklendirme seçilmişse, küme otomatik olarak en düşük hedefe göre ölçeklendirmelidir. El ile ölçekleme seçilmişse, aşağıdaki komutu kullanarak kümeyi aşağı ölçeklendirin.

az batchai cluster resize \
    --name <CLUSTER NAME> \
    --resource-group <RESOURCE GROUP> \
    --workspace <WORKSPACE> \
    --target 0

Küme silme

Bir kümeyi kullanmayı bitirdikten sonra, silmek için az batchaı Cluster Delete komutunu kullanın.

az batchai cluster delete \
    --name <CLUSTER NAME> \
    --resource-group <RESOURCE GROUP> \
    --workspace <WORKSPACE>

Kaynak grubunuzu silmek, kaynak grubu altında sağlanan tüm kümeleri de otomatik olarak siler.

az group delete --name <RESOURCE GROUP>

Sonraki adımlar

Batch AI kümesi oluşturma hakkında daha fazla örnek için Portal veya Azure CLI hızlı başlangıç veya GitHub Batch AI tariflerine bakın.

Share via