Azure Machine Learning'deki işlem hedefleri nelerdir?
İşlem hedefi, eğitim betiğinizi çalıştırdığınız veya hizmet dağıtımınızı barındırdığınız belirlenmiş bir işlem kaynağı veya ortamıdır. Bu konum yerel makineniz veya bulut tabanlı işlem kaynağınız olabilir. İşlem hedeflerini kullanmak, daha sonra kodunuzu değiştirmek zorunda kalmadan işlem ortamınızı değiştirmenizi kolaylaştırır.
Azure Machine Learning, farklı işlem hedeflerinde farklı destek sağlar. Tipik bir model geliştirme yaşam döngüsünde şunları yapın:
- Başlangıç olarak az miktarda veri geliştirip üzerinde denemeler yapın. Bu aşamada, işlem hedefi olarak yerel bilgisayar veya bulut tabanlı sanal makine (VM) gibi yerel ortamınızı kullanın.
- Daha büyük verilere ölçeklendirin veya bu eğitim işlem hedeflerinden birini kullanarak dağıtılmış eğitim yapın.
- Modeliniz hazır olduktan sonra, bu dağıtım işlem hedeflerinden biriyle bir web barındırma ortamına dağıtın.
İşlem hedefleriniz için kullandığınız işlem kaynakları bir çalışma alanına eklenir. Yerel makine dışındaki işlem kaynakları çalışma alanının kullanıcıları tarafından paylaşılır.
İşlem hedeflerini eğitme
Daha büyük veri kümelerinde eğitiminizin ölçeğini artırdıkça veya dağıtılmış eğitim gerçekleştirirken Azure Machine Learning işlemini kullanarak her iş gönderdiğinizde otomatik olarak ölçeklendirilen tek veya çok düğümlü bir küme oluşturun. Farklı senaryolara yönelik destek farklılık gösterse de kendi işlem kaynağınızı da ekleyebilirsiniz.
İşlem hedefleri bir eğitim işinden diğerine yeniden kullanılabilir. Örneğin, çalışma alanınıza uzak bir VM ekledikten sonra, bunu birden çok iş için yeniden kullanabilirsiniz. Makine öğrenmesi işlem hatları için her işlem hedefi için uygun işlem hattı adımını kullanın.
Çoğu iş için eğitim işlem hedefi için aşağıdaki kaynaklardan herhangi birini kullanabilirsiniz. Otomatik makine öğrenmesi, makine öğrenmesi işlem hatları veya tasarımcı için tüm kaynaklar kullanılamaz. Azure Databricks, yerel çalıştırmalar ve makine öğrenmesi işlem hatları için eğitim kaynağı olarak kullanılabilir, ancak diğer eğitimler için uzak hedef olarak kullanılamaz.
| Eğitim hedefleri | Otomatik makine öğrenmesi | Makine öğrenmesi işlem hatları | Azure Machine Learning tasarımcısı |
|---|---|---|---|
| Yerel bilgisayar | Yes | ||
| Azure Machine Learning işlem kümesi | Yes | Evet | Yes |
| Azure Machine Learning sunucusuz işlem | Yes | Evet | Yes |
| Azure Machine Learning işlem örneği | Evet (SDK aracılığıyla) | Yes | Yes |
| Azure Machine Learning Kubernetes | Yes | Yes | |
| Uzak VM | Yes | Yes | |
| Apache Spark havuzları (önizleme) | Evet (yalnızca SDK yerel modu) | Yes | |
| Azure Databricks | Evet (yalnızca SDK yerel modu) | Yes | |
| Azure Data Lake Analytics | Yes | ||
| Azure HDInsight | Yes | ||
| Azure Batch | Yes |
İpucu
İşlem örneğinin 120 GB işletim sistemi diski vardır. Disk alanınız tükenirse, işlem örneğini durdurmadan veya yeniden başlatmadan önce en az 1-2 GB temizlemek için terminali kullanın.
Çıkarım için işlem hedefleri
Çıkarım yaparken Azure Machine Learning, modeli ve bunu kullanmak için gereken ilişkili kaynakları barındıran bir Docker kapsayıcısı oluşturur. Bu kapsayıcı daha sonra bir işlem hedefinde kullanılır.
Modelinizi barındırmak için kullandığınız işlem hedefi, dağıtılan uç noktanızın maliyetini ve kullanılabilirliğini etkiler. Uygun bir işlem hedefi seçmek için bu tabloyu kullanın.
| İşlem hedefi | Kullanıldığı yerler | GPU desteği | Açıklama |
|---|---|---|---|
| Azure Machine Learning uç noktaları | Gerçek zamanlı çıkarım Toplu çıkarım |
Yes | Sunucusuz işlemde gerçek zamanlı (yönetilen çevrimiçi uç noktalar) ve toplu puanlama (toplu iş uç noktaları) için tam olarak yönetilen işlemler. |
| Azure Machine Learning Kubernetes | Gerçek zamanlı çıkarım Toplu çıkarım |
Yes | Şirket içi, bulut ve uç Kubernetes kümelerinde çıkarım iş yüklerini çalıştırın. |
| İşlem hedefi | Kullanıldığı yerler | GPU desteği | Açıklama |
|---|---|---|---|
| Yerel web hizmeti | Test/hata ayıklama | Sınırlı test ve sorun giderme için kullanın. Donanım hızlandırma, yerel sistemdeki kitaplıkların kullanımına bağlıdır. | |
| Azure Machine Learning Kubernetes | Gerçek zamanlı çıkarım | Yes | Çıkarım iş yüklerini bulutta çalıştırın. |
| Azure Container Instances | Gerçek zamanlı çıkarım Yalnızca geliştirme/test amacıyla önerilir. |
48 GB'tan az RAM gerektiren düşük ölçekli CPU tabanlı iş yükleri için kullanın. Kümeyi yönetmenizi gerektirmez. Yalnızca boyutu 1 GB'tan küçük modeller için uygundur. Tasarımcıda desteklenir. |
Not
Küme SKU'su seçerken önce ölçeği genişletin ve sonra ölçeği genişletin. Modelinizin gerektirdiği RAM'in %150'sine sahip bir makineyle başlayın, sonucun profilini yapın ve ihtiyacınız olan performansa sahip bir makine bulun. Bunu öğrendikkten sonra, eşzamanlı çıkarım gereksiniminize uyacak şekilde makine sayısını artırın.
Çevrimiçi uç nokta kullanarak makine öğrenmesi modelini dağıtma ve puanlandırma.
Makine öğrenmesi modellerini Azure'a dağıtma.
Azure Machine Learning işlem (yönetilen)
Azure Machine Learning yönetilen işlem kaynaklarını oluşturur ve yönetir. Bu işlem türü makine öğrenmesi iş yükleri için iyileştirilmiştir. Yönetilen tek işlem Azure Machine Learning işlem kümeleri, sunucusuz işlem ve işlem örnekleridir .
Sunucusuz işlem oluşturmaya gerek yoktur. Azure Machine Learning işlem örnekleri veya işlem kümeleri oluşturabilirsiniz:
- Azure Machine Learning Studio
- Python SDK ve Azure CLI:
- Azure Resource Manager şablonu. Örnek şablon için bkz . Azure Machine Learning işlem kümesi oluşturma.
Not
İşlem kümesi oluşturmak yerine, işlem yaşam döngüsü yönetimini Azure Machine Learning'e boşaltmak için sunucusuz işlem kullanın.
Bu işlem kaynakları oluşturulduğunda, diğer işlem hedeflerinden farklı olarak otomatik olarak çalışma alanınızın bir parçasıdır.
| Özellik | İşlem kümesi | İşlem örneği |
|---|---|---|
| Tek veya çok düğümlü küme | ✓ | Tek düğüm kümesi |
| Her iş gönderdiğinizde otomatik ölçeklendirmeler | ✓ | |
| Otomatik küme yönetimi ve iş zamanlaması | ✓ | ✓ |
| Hem CPU hem de GPU kaynakları için destek | ✓ | ✓ |
Not
İşlem boşta olduğunda ücretlerden kaçınmak için:
- İşlem kümesi için en az düğüm sayısının 0 olarak ayarlandığından emin olun veya sunucusuz işlem kullanın.
- İşlem örneği için boşta kapatmayı etkinleştirin.
Desteklenen VM serisi ve boyutları
Önemli
İşlem örneğiniz veya işlem kümeleriniz bu serilerden herhangi birini temel aldıysa, hizmet kesintisini önlemek için kullanımdan kaldırma tarihinden önce başka bir VM boyutuyla yeniden oluşturun.
Bu seriler 31 Ağustos 2023'te devre dışıdır:
Bu seriler 31 Ağustos 2024'te devre dışıdır:
Azure Machine Learning'de yönetilen işlem kaynağı için bir düğüm boyutu seçtiğinizde, Azure'da kullanılabilen belirli VM boyutları arasından seçim yapabilirsiniz. Azure, farklı iş yükleri için Linux ve Windows için çeşitli boyutlar sunar. Daha fazla bilgi edinmek için bkz . VM türleri ve boyutları.
VM boyutu seçmeye yönelik birkaç özel durum ve sınırlama vardır:
- Bazı VM serileri Azure Machine Learning'de desteklenmez.
- GPU'lar ve diğer özel SKU'lar gibi bazı VM serileri başlangıçta kullanılabilir VM'ler listenizde görünmeyebilir. Ancak kota değişikliği isteğinde bulunduktan sonra bunları kullanmaya devam edebilirsiniz. Kota isteme hakkında daha fazla bilgi için bkz . Kota ve sınır artışı isteme. Desteklenen seriler hakkında daha fazla bilgi edinmek için aşağıdaki tabloya bakın.
| Desteklenen VM serisi | Kategori | Destekleyen: |
|---|---|---|
| DDSv4 | Genel amaçlı | İşlem kümeleri ve örneği |
| Dv2 | Genel amaçlı | İşlem kümeleri ve örneği |
| Dv3 | Genel amaçlı | İşlem kümeleri ve örneği |
| DSv2 | Genel amaçlı | İşlem kümeleri ve örneği |
| DSv3 | Genel amaçlı | İşlem kümeleri ve örneği |
| EAv4 | Bellek için iyileştirilmiş | İşlem kümeleri ve örneği |
| Ev3 | Bellek için iyileştirilmiş | İşlem kümeleri ve örneği |
| ESv3 | Bellek için iyileştirilmiş | İşlem kümeleri ve örneği |
| FSv2 | İşlem için iyileştirilmiş | İşlem kümeleri ve örneği |
| FX | İşlem için iyileştirilmiş | İşlem kümeleri |
| H | Yüksek performanslı işlem | İşlem kümeleri ve örneği |
| HB | Yüksek performanslı işlem | İşlem kümeleri ve örneği |
| HBv2 | Yüksek performanslı işlem | İşlem kümeleri ve örneği |
| HBv3 | Yüksek performanslı işlem | İşlem kümeleri ve örneği |
| HC | Yüksek performanslı işlem | İşlem kümeleri ve örneği |
| LSv2 | Depolama için iyileştirilmiş | İşlem kümeleri ve örneği |
| M | Bellek için iyileştirilmiş | İşlem kümeleri ve örneği |
| NC | GPU | İşlem kümeleri ve örneği |
| NC Promosyonu | GPU | İşlem kümeleri ve örneği |
| NCv2 | GPU | İşlem kümeleri ve örneği |
| NCv3 | GPU | İşlem kümeleri ve örneği |
| ND | GPU | İşlem kümeleri ve örneği |
| NDv2 | GPU | İşlem kümeleri ve örneği |
| NV | GPU | İşlem kümeleri ve örneği |
| NVv3 | GPU | İşlem kümeleri ve örneği |
| NCasT4_v3 | GPU | İşlem kümeleri ve örneği |
| NDasrA100_v4 | GPU | İşlem kümeleri ve örneği |
Azure Machine Learning bu VM serisini desteklese de tüm Azure bölgelerinde kullanılamayabilir. VM serisinin kullanılabilir olup olmadığını denetlemek için bkz . Bölgeye göre kullanılabilir ürünler.
Not
Azure Machine Learning, Azure İşlem'in desteklediği tüm VM boyutlarını desteklemez. Kullanılabilir VM boyutlarını listelemek için aşağıdaki yöntemi kullanın:
Not
Azure Machine Learning, Azure İşlem'in desteklediği tüm VM boyutlarını desteklemez. Kullanılabilir VM boyutlarını listelemek için aşağıdaki yöntemlerden birini kullanın:
- REST API
- Makine öğrenmesi için Azure CLI uzantısı 2.0 komutu, az ml compute list-sizes.
GPU özellikli işlem hedeflerini kullanıyorsanız, eğitim ortamında doğru CUDA sürücülerinin yüklü olduğundan emin olmanız önemlidir. Kullanılacak doğru CUDA sürümünü belirlemek için aşağıdaki tabloyu kullanın:
| GPU Mimarisi | Azure VM serisi | Desteklenen CUDA sürümleri |
|---|---|---|
| Amper | NDA100_v4 | 11.0+ |
| Torino | NCT4_v3 | 10.0+ |
| Volta | NCv3, NDv2 | 9.0+ |
| Pascal | NCv2, ND | 9.0+ |
| Maxwell | NV, NVv3 | 9.0+ |
| Kepler | NC, NC Promosyonu | 9.0+ |
CUDA sürümü ve donanımının uyumlu olduğundan emin olmanıza ek olarak CUDA sürümünün kullandığınız makine öğrenmesi çerçevesinin sürümüyle uyumlu olduğundan da emin olun:
- PyTorch için Pytorch'un önceki sürümler sayfasını ziyaret ederek uyumluluğu de kontrol edebilirsiniz.
- Tensorflow için Tensorflow'un kaynak sayfasından derlemesini ziyaret ederek uyumluluğu de kontrol edebilirsiniz.
İşlem yalıtımı
Azure Machine Learning işlem, belirli bir donanım türüne göre yalıtılmış ve tek bir müşteriye ayrılmış VM boyutları sunar. Yalıtılmış VM boyutları, uyumluluk ve mevzuat gereksinimlerini karşılamayı içeren nedenlerle diğer müşterilerin iş yüklerinden yüksek düzeyde yalıtım gerektiren iş yükleri için idealdir. Yalıtılmış bir boyut kullanmak, vm'nizin söz konusu sunucu örneğinde çalışan tek kişi olduğunu garanti eder.
Geçerli yalıtılmış VM teklifleri şunlardır:
- Standard_M128ms
- Standard_F72s_v2
- Standard_NC24s_v3
- Standard_NC24rs_v3 (RDMA özellikli)
Yalıtım hakkında daha fazla bilgi edinmek için bkz . Azure genel bulutunda yalıtım.
Yönetilmeyen işlem
Azure Machine Learning yönetilmeyen işlem hedeflerini yönetmez. Bu tür bir işlem hedefini Azure Machine Learning'in dışında oluşturur ve sonra da çalışma alanınıza eklersiniz. Yönetilmeyen işlem kaynakları, makine öğrenmesi iş yüklerinin performansını korumanız veya geliştirmeniz için ek adımlar gerektirebilir.
Azure Machine Learning aşağıdaki yönetilmeyen işlem türlerini destekler:
- Uzak sanal makineler
- Azure HDInsight
- Azure Databricks
- Azure Data Lake Analytics
- Azure Kubernetes Service
- Azure Synapse Spark havuzu (kullanım dışı)
Daha fazla bilgi için bkz . İşlem kaynaklarını yönetme.