Azure Machine Learning işlem örneği nedir?

  • Makale

Azure Machine Learning işlem örneği, veri bilimcileri için yönetilen bulut tabanlı bir iş istasyonudur. Her işlem örneğinin tek bir sahibi vardır, ancak dosyaları birden çok işlem örneği arasında paylaşabilirsiniz.

İşlem örnekleri, Azure Machine Learning geliştirmeye başlamayı ve BT yöneticileri için yönetim ve kurumsal hazırlık özellikleri sağlamayı kolaylaştırır.

Makine öğrenmesi için bulutta tam olarak yapılandırılmış ve yönetilen geliştirme ortamınız olarak bir işlem örneği kullanın. Bunlar ayrıca geliştirme ve test amacıyla eğitim ve çıkarım için işlem hedefi olarak da kullanılabilir.

İşlem örneği Jupyter işlevselliğinin çalışması için web yuvası iletişimin devre dışı bırakılmadığından emin olun. Ağınızın websocket bağlantılarına izin verdiğinden emin olun (*.instances.azureml.net ve *.instances.azureml.ms).

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Önizleme sürümü bir hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Neden işlem örneği kullanmalısınız?

İşlem örneği, makine öğrenmesi geliştirme ortamınız için iyileştirilmiş, tam olarak yönetilen bulut tabanlı bir iş istasyonudur. Aşağıdaki yararları sağlar:

Temel avantajlar Açıklama
Üretkenlik tümleşik not defterlerini ve Azure Machine Learning stüdyosu'de aşağıdaki araçları kullanarak modeller derleyebilir ve dağıtabilirsiniz:
- Jupyter
- JupyterLab
- VS Code (önizleme)
İşlem örneği, Azure Machine Learning çalışma alanı ve studio ile tamamen tümleşiktir. Not defterlerini ve verileri çalışma alanında diğer veri bilimciler ile paylaşabilirsiniz.
Yönetilen ve güvenli Güvenlik ayak izinizi azaltın ve kurumsal güvenlik gereksinimleriyle uyumluluk ekleyin. İşlem örnekleri güçlü yönetim ilkeleri ve aşağıdakiler gibi güvenli ağ yapılandırmaları sağlar:

- Resource Manager şablonlarından veya Azure Machine Learning SDK'sından otomatik sağlama
- Azure rol tabanlı erişim denetimi (Azure RBAC)
- Sanal ağ desteği
- SSH erişimini devre dışı bırakmak için Azure ilkesi
- Sanal ağda oluşturmayı zorlamak için Azure ilkesi
- Zamanlamaya göre otomatik kapatma/otomatik başlatma
- TLS 1.2 etkin
ML için önceden yapılandırılmış Önceden yapılandırılmış ve güncel ML paketleri, derin öğrenme çerçeveleri, GPU sürücüleri ile kurulum görevlerinde zaman kazanın.
Tamamen özelleştirilebilir GPU'lar ve paket ve sürücü yükleme gibi kalıcı alt düzey özelleştirmeler de dahil olmak üzere Azure VM türleri için geniş destek, gelişmiş senaryoları kolay hale getirir. Özelleştirmeyi otomatikleştirmek için kurulum betiklerini de kullanabilirsiniz

Araçlar ve ortamlar

Azure Machine Learning işlem örneği, çalışma alanınızda tam olarak tümleşik bir not defteri deneyiminde model yazmanıza, eğitip dağıtmanıza olanak tanır.

Not defterlerini Azure Machine Learning çalışma alanınızdan, Jupyter, JupyterLab veya Visual Studio Code'dan çalıştırabilirsiniz. VS Code Desktop, işlem örneğinize erişmek için yapılandırılabilir. Veya doğrudan tarayıcıdan ve gerekli yüklemeler veya bağımlılıklar olmadan Web için VS Code kullanabilirsiniz.

Sağladığı kolay tümleştirme ve zengin geliştirme ortamından yararlanmak için Web için VS Code'ı denemenizi öneririz. Web için VS Code, gözatma ve düzenleme sırasında arama ve söz dizimi vurgulama da dahil olmak üzere sevdiğiniz VS Code Desktop'ın birçok özelliğini sunar. Web için VS Code Desktop ve VS Code kullanma hakkında daha fazla bilgi için bkz . Azure Machine Learning ile tümleşik Visual Studio Code'ı başlatma (önizleme) ve bir işlem örneğine uzaktan bağlı VS Code'da çalışma (önizleme).

Paketleri yükleyebilir ve işlem örneğinize çekirdek ekleyebilirsiniz.

İşlem örneğinde aşağıdaki araçlar ve ortamlar zaten yüklüdür:

Genel araçlar ve ortamlar Ayrıntılar
Sürücüler CUDA
cuDNN
NVIDIA
Blob FUSE
Intel MPI kitaplığı
Azure CLI
Azure Machine Learning örnekleri
Docker
Nginx
NCCL 2.0
Protobuf
R araçları ve ortamları Ayrıntılar
R çekirdeği

Örneği oluştururken RStudio veya Posit Workbench (eski adıyla RStudio Workbench) ekleyebilirsiniz.

PYTHON araçları ve ortamları Ayrıntılar
Anaconda Python
Jupyter ve uzantılar
Jupyterlab ve uzantılar
Azure Machine Learning SDK'sı
PyPI'den Python için		 azure-ai-ml ve birçok yaygın azure ek paketi içerir. Listenin tamamını görmek için
işlem örneğinizde bir terminal penceresi açın ve komutunu çalıştırın
conda list -n azureml_py310_sdkv2 ^azure
Diğer PyPI paketleri jupytext
tensorboard
nbconvert
notebook
Pillow
Conda paketleri cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
Derin öğrenme paketleri PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
ONNX paketleri keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Azure Machine Learning Python örnekleri

İşlem örneğinde temel işletim sistemi olarak Ubuntu bulunur.

Dosyalara erişme

Not defterleri ve Python betikleri, Azure dosya paylaşımındaki çalışma alanınızın varsayılan depolama hesabında depolanır. Bu dosyalar "Kullanıcı dosyaları" dizininizin altında bulunur. Bu depolama, işlem örnekleri arasında not defterlerini paylaşmayı kolaylaştırır. Depolama hesabı ayrıca bir işlem örneğini durdurduğunuzda veya sildiğinizde not defterlerinizin güvenli bir şekilde korunmasını sağlar.

Çalışma alanınızın Azure dosya paylaşımı hesabı, işlem örneğine bir sürücü olarak bağlanır. Bu sürücü Jupyter, Jupyter Labs, RStudio ve Posit Workbench için varsayılan çalışma dizinidir. Bu, Jupyter, JupyterLab, Web için VS Code, RStudio veya Posit'te oluşturduğunuz not defterlerinin ve diğer dosyaların otomatik olarak dosya paylaşımında depolandığı ve diğer işlem örneklerinde de kullanılabildiği anlamına gelir.

Dosya paylaşımındaki dosyalara aynı çalışma alanında yer alan tüm işlem örneklerinden erişilebilir. İşlem örneğindeki bu dosyalarda yapılan tüm değişiklikler, dosya paylaşımında güvenilir bir şekilde kalıcı hale getirilecektir.

Ayrıca en son Azure Machine Learning örneklerini çalışma alanı dosya paylaşımındaki kullanıcı dosyaları dizininin altındaki klasörünüzde kopyalayabilirsiniz.

Küçük dosyalar yazmak, ağ sürücülerinde işlem örneği yerel diskine yazmaktan daha yavaş olabilir. Çok sayıda küçük dosya yazıyorsanız doğrudan işlem örneğinde dizin gibi bir /tmp dizin kullanmayı deneyin. Bu dosyalara diğer işlem örneklerinden erişilmeyeceğini unutmayın.

Eğitim verilerini not defterleri dosya paylaşımında depolamayın. Verileri depolamaya yönelik çeşitli seçenekler hakkında bilgi için bkz . bir işteki verilere erişme.

Geçici verileriniz için işlem örneğindeki /tmp dizinini kullanabilirsiniz. Bu durumda işlem örneğinin işletim sistemi diskine büyük veri dosyaları yazmaktan kaçının. İşlem örneğindeki işletim sistemi diskinde 128 GB kapasite vardır. Geçici eğitim verilerini /mnt'ye bağlı geçici diskte de depolayabilirsiniz. Geçici disk boyutu seçilen VM boyutuna bağlıdır ve daha büyük boyutlu bir VM seçilirse daha büyük miktarda veri depolayabilir. Yüklediğiniz tüm yazılım paketleri, işlem örneğinin işletim sistemi diskinde kaydedilir. Müşteri tarafından yönetilen anahtar şifrelemesi şu anda işletim sistemi diski için desteklenmemektedir. İşlem örneğinin işletim sistemi diski Microsoft tarafından yönetilen anahtarlarla şifrelenir.

Veri depolarını ve veri kümelerini de bağlayabilirsiniz.

Oluşturma

Temel bir işlem örneği oluşturmaya başlamak için ihtiyacınız olan kaynakları oluşturma makalesindeki adımları izleyin.

Diğer seçenekler için bkz . Yeni işlem örneği oluşturma.

Yönetici olarak, çalışma alanında başkaları için bir işlem örneği oluşturabilirsiniz.

İşlem örneğini özelleştirmek ve yapılandırmak için otomatik bir yol için kurulum betiği de kullanabilirsiniz.

İşlem örneği oluşturmanın diğer yolları:

VM ailesi kotası başına bölge başına ayrılmış çekirdekler ve işlem örneği oluşturma için geçerli olan toplam bölgesel kota birleştirilir ve Azure Machine Learning eğitim işlem kümesi kotası ile paylaşılır. İşlem örneğinin durdurulması, işlem örneğini yeniden başlatabilmeniz için kotayı serbest bırakmaz. Sudo kapatma işlemi yaparak işletim sistemi terminali üzerinden işlem örneğini durdurmayın.

İşlem örneği P10 işletim sistemi diski ile birlikte gelir. Geçici disk türü, seçilen VM boyutuna bağlıdır. Şu anda işletim sistemi disk türünü değiştirmek mümkün değildir.

İşlem hedefi

İşlem örnekleri, Azure Machine Learning işlem eğitim kümelerine benzer bir eğitim işlem hedefi olarak kullanılabilir. Ancak bir işlem örneğinde yalnızca tek bir düğüm bulunurken, işlem kümesinde daha fazla düğüm olabilir.

İşlem örneği:

  • İş kuyruğu var.
  • Kuruluşların SSH bağlantı noktasını açmasına gerek kalmadan işleri bir sanal ağ ortamında güvenli bir şekilde çalıştırır. İş kapsayıcılı bir ortamda yürütülür ve model bağımlılıklarınızı docker kapsayıcısında paketler.
  • Birden çok küçük işi paralel olarak çalıştırabilir. İşlerin geri kalanı kuyruğa alınırken vCPU başına bir iş paralel olarak çalıştırılabilir.
  • Tek düğümlü çoklu GPU dağıtılmış eğitim işlerini destekler

İşlem örneğini test/hata ayıklama senaryoları için yerel çıkarım dağıtım hedefi olarak kullanabilirsiniz.

Bahşiş

İşlem örneğinin 120 GB işletim sistemi diski vardır. Disk alanınız tükenirse ve kullanılamaz duruma gelirseniz, lütfen dosyaları/klasörleri kaldırarak işlem örneği terminali aracılığıyla işletim sistemi diskinde (/üzerine takılı) en az 5 GB disk alanı temizleyin ve sonra yapın sudo reboot. Geçici disk yeniden başlatıldıktan sonra serbest kalır; geçici diskte el ile alan temizlemeniz gerekmez. Terminale erişmek için işlem listesi sayfasına veya işlem örneği ayrıntıları sayfasına gidin ve Terminal bağlantısına tıklayın. Terminalde df -h çalıştırarak kullanılabilir disk alanını denetleyebilirsiniz. sudo reboot yapmadan önce en az 5 GB alan temizleyin. 5 GB disk alanı temizlenene kadar lütfen Studio üzerinden işlem örneğini durdurmayı veya yeniden başlatmayın. CI diski doluysa, zamanlanmış başlatma veya durdurmanın yanı sıra boşta kapatmalar dahil olmak üzere otomatik kapatmalar çalışmaz.

Sonraki adımlar