Azure Machine Learning işlem örneği nedir?

Azure Machine Learning işlem örneği, veri bilimcileri için yönetilen bulut tabanlı bir iş istasyonudur.

işlem örnekleri, Azure Machine Learning geliştirmeye başlamanızı kolaylaştırır ve bt yöneticileri için yönetim ve kurumsal hazırlık özellikleri sağlar.

Makine öğrenimi için bulutta tam olarak yapılandırılmış ve yönetilen geliştirme ortamınız olarak bir işlem örneği kullanın. Ayrıca, geliştirme ve test amacıyla bilgi işlem hedefi olarak da kullanılabilir.

üretim sınıfı modeli eğitimi için, çok düğümlü ölçeklendirme özelliklerine sahip bir Azure Machine Learning işlem kümesi kullanın. Üretim sınıfı modeli dağıtımı için Azure Kubernetes hizmet kümesi' ni kullanın.

İşlem örneği jupi işlevinin çalışması için, Web yuva iletişiminin devre dışı bırakılmadığından emin olun. Lütfen ağınızın *. instances.azureml.net ve *. instances.azureml.ms öğesine WebSocket bağlantılarına izin verdiğinden emin olun.

Önemli

Bu makaledeki işaretlenmiş öğeler (Önizleme) Şu anda genel önizleme aşamasındadır. Önizleme sürümü, bir hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Neden bir işlem örneği kullanılmalıdır?

İşlem örneği, Machine Learning geliştirme ortamınız için iyileştirilmiş, tam olarak yönetilen bulut tabanlı bir iş istasyonudur. Aşağıdaki avantajları sağlar:

Önemli avantajlar Description
Üretkenlik tümleşik not defterlerini ve Azure Machine Learning studio 'daki aşağıdaki araçları kullanarak modeller oluşturabilir ve dağıtabilirsiniz:
-Jupyıter
-Jupyıterlab
-VS Code (önizleme)
-RStudio (Önizleme)
işlem örneği, Azure Machine Learning çalışma alanı ve studio ile tamamen tümleşiktir. Çalışma alanındaki diğer veri bilimcileri ile not defterlerini ve verileri paylaşabilirsiniz.
işlem örnekleri ile VS Code de kullanabilirsiniz.
Yönetilen & güvenli Güvenlik ayak izini azaltın ve kurumsal güvenlik gereksinimleriyle uyumluluk ekleyin. İşlem örnekleri, güçlü yönetim ilkeleri ve güvenli ağ yapılandırmalarının yanı sıra şunları sağlar:

-Kaynak Yöneticisi şablonlarından veya Azure Machine Learning SDK 'dan oto sağlama
- Azure rol tabanlı erişim denetimi (Azure RBAC)
- Sanal ağ desteği
-SSH erişimini etkinleştirmek/devre dışı bırakmak için SSH ilkesi
- Genel IP yok , BIR genel IP adresi bağımlılığı olmadan güvenli bir bağlantı çözümünü etkinleştirebilme olanağı sağlar
-TLS 1,2 etkin
 Ml için önceden yapılandırılmış   önceden yapılandırılmış ve güncel ML paketleri, derin öğrenme çerçeveleri ve GPU sürücüleri ile kurulum görevlerinde zaman kazanın.
Tamamen özelleştirilebilir GPU 'Lar ve kalıcı alt düzey özelleştirme dahil olmak üzere Azure VM türleri için kapsamlı destek; Örneğin, paket ve sürücü yükleme, gelişmiş senaryolar için bir Breeze sağlar.

Araçlar ve ortamlar

Azure Machine Learning işlem örneği, çalışma alanınızdaki tamamen tümleşik bir not defteri deneyiminde modelleri yazmanıza, eğmenize ve dağıtmanıza olanak sağlar.

işlem örneğini, SSH gerekmeden uzak sunucu olarak kullanarak VS Code jupi not defterlerini çalıştırabilirsiniz. ayrıca, uzak SSH uzantısıaracılığıyla VS Code tümleştirmesini etkinleştirebilirsiniz.

Paketleri yükleyebilir ve işlem örneğinize çekirdekler ekleyebilirsiniz .

Aşağıdaki araçlar ve ortamlar, işlem örneğinde zaten yüklüdür:

Genel araçlar & ortamları Ayrıntılar
Sürücüler CUDA
cuDNN
NVIDIA
Blob FUSE
Intel MPı kitaplığı
Azure CLI
Azure Machine Learning örnekleri
Docker
Nginx
NCCL 2,0
Protobuf
R araçları & ortamları Ayrıntılar
RStudio Server açık kaynak sürümü (Önizleme)
R çekirdeği
Python araçları & ortamları Ayrıntılar
Anaconda Python
Jupi ve uzantıları
Jupi terlab ve uzantıları
Python için Azure Machine Learning SDK'sı
Pypı 'den
, Azureml ek paketlerin çoğunu içerir. Tam listeyi görmek için, işlem örneğiniz üzerinde bir Terminal penceresi açın ve şunu çalıştırın:
conda list -n azureml_py36 azureml*
Diğer Pypı paketleri jupytext
tensorboard
nbconvert
notebook
Pillow
Conda paketleri cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
nb_conda_kernels
Derin öğrenme paketleri PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
ONNX paketleri keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Azure Machine Learning Python örnekleri

Python paketlerinin hepsi python 3,8-AzureML ortamında yüklüdür. İşlem örneği, temel işletim sistemi olarak Ubuntu 18,04 ' i içerir.

Dosyalara erişme

Not defterleri ve R betikleri, Azure dosya paylaşımında çalışma alanınızın varsayılan depolama hesabında depolanır. Bu dosyalar "Kullanıcı dosyaları" dizininizin altında bulunur. Bu depolama, işlem örnekleri arasında Not defterlerinin paylaşılmasını kolaylaştırır. Depolama hesabı Ayrıca bir işlem örneğini durdurduğunuzda veya sildiğinizde Not defterlerinizin güvenle korunmalarını önler.

Çalışma alanınızın Azure dosya paylaşma hesabı, işlem örneğine bir sürücü olarak bağlanır. Bu sürücü, jupi, Jupyıter Labs ve RStudio için varsayılan çalışma dizinidir. Diğer bir deyişle, Jupiter, Jupiterlab veya RStudio 'da oluşturduğunuz Not defterleri ve diğer dosyalar otomatik olarak dosya paylaşımında depolanır ve diğer işlem örneklerinde kullanılabilir.

Dosya paylaşımındaki dosyalara aynı çalışma alanındaki tüm işlem örneklerinden erişilebilir. İşlem örneğindeki bu dosyalarda yapılan tüm değişiklikler, dosya paylaşımında güvenilir bir şekilde kalıcı olarak kalıcı hale getirilir.

ayrıca, en son Azure Machine Learning örnekleri çalışma alanı dosya paylaşımındaki kullanıcı dosyaları dizini altında klasörünüze kopyalayabilirsiniz.

Küçük dosyaların yazılması, ağ sürücülerinde, işlem örneği yerel diskinin üzerine yazılmasından daha yavaş olabilir. Çok sayıda küçük dosya yazıyorsanız, Dizin gibi işlem örneğinde doğrudan bir dizin kullanmayı deneyin /tmp . Not Bu dosyalara diğer işlem örneklerinden erişilemeyecektir.

Eğitim verilerini Not defterleri dosya paylaşımında depolamayın. /tmpGeçici verileriniz için işlem örneğindeki dizini kullanabilirsiniz. Bununla birlikte, işlem örneğinin işletim sistemi diskine çok büyük veri dosyaları yazmayın. İşlem örneğindeki işletim sistemi diski 128 GB kapasiteye sahiptir. Geçici eğitim verilerini,/mnta takılı geçici diske da saklayabilirsiniz. Geçici disk boyutu, seçilen VM boyutu temel alınarak yapılandırılabilir ve daha yüksek boyutlu bir VM seçilirse daha büyük miktarlarda veri depolayabilirler. Veri depolarını ve veri kümelerinide bağlayabilirsiniz. Yüklediğiniz tüm yazılım paketleri, işlem örneğinin işletim sistemi diskine kaydedilir. Lütfen müşteri tarafından yönetilen anahtar şifrelemesi, işletim sistemi diski için şu anda desteklenmiyor. İşlem örneği için işletim sistemi diski, Microsoft tarafından yönetilen anahtarlarla şifrelenir.

İşlem örneği oluşturma

Yönetici olarak, çalışma alanındaki (Önizleme) diğerleri için bir işlem örneği oluşturabilirsiniz.

İşlem örneğini özelleştirmek ve yapılandırmak için otomatik bir yol için kurulum betiği (Önizleme) de kullanabilirsiniz .

kendi kendinize bir işlem örneği oluşturmak için, Azure Machine Learning studio 'da çalışma alanınızı kullanın, not defterlerinizden birini çalıştırmaya hazırsanız işlem bölümünden veya not defterleri bölümünde yeni bir işlem örneği oluşturun .

Ayrıca, bir örnek oluşturabilirsiniz

VM ailesi kotası başına bölge başına adanmış çekirdekler ve işlem örneği oluşturma için geçerli olan toplam bölgesel kota, Azure Machine Learning eğitim işlem kümesi kotasıyla birleştirilmiş ve paylaşılır. İşlem örneği durdurulduğunda, işlem örneğini yeniden başlatabileceksiniz emin olmak için kota serbest bırakılır. Lütfen bir sudo kapatması gerçekleştirerek işletim örneğini işletim sistemi terminali aracılığıyla durdurmayın.

İşlem örneği P10 OS disk ile birlikte gelir. Geçici disk türü, seçilen VM boyutuna bağlıdır. Şu anda, işletim sistemi disk türünü değiştirmek mümkün değildir.

İşlem hedefi

işlem örnekleri, Azure Machine Learning işlem eğitimi kümelerine benzer bir eğitim işlem hedefi olarak kullanılabilir.

İşlem örneği:

  • İş kuyruğu vardır.
  • Bir sanal ağ ortamında, kuruluşların SSH bağlantı noktasını açmasına gerek olmadan işleri güvenli bir şekilde çalıştırır. İş kapsayıcılı bir ortamda yürütülür ve model bağımlılıklarınızı bir Docker kapsayıcısında paketleyebilir.
  • Birden çok küçük işi paralel olarak çalıştırabilir (Önizleme). Çekirdek başına bir iş paralel olarak çalışabilir, ancak işlerin geri kalanı sıraya alınır.
  • Tek düğümlü çok GPU Dağıtılmış eğitim işlerini destekler

Test/hata ayıklama senaryoları için, işlem örneğini yerel bir ınırm dağıtım hedefi olarak kullanabilirsiniz.

İpucu

İşlem örneğinin 120 GB işletim sistemi diski vardır. Disk alanı tükeniyor ve kullanılamayan bir duruma ulaşırsanız, dosyaları/klasörleri kaldırarak ve sonra işlem örneği terminalinde işletim sistemi diskinde en az 5 GB disk alanını temizleyin sudo reboot . Terminal 'e erişmek için işlem listesi sayfasına veya işlem örneği ayrıntıları sayfasına gidin ve Terminal bağlantısı ' na tıklayın. Terminal üzerinde çalıştırarak kullanılabilir disk alanını kontrol edebilirsiniz df -h . Uygulamadan önce en az 5 GB alan temizleyin sudo reboot . Lütfen 5 GB disk alanı temizlenene kadar işlem örneğini durdurun veya Studio aracılığıyla yeniden başlatmayın.

Sonraki adımlar