PyTorch Sınıf
PyTorch denemelerinde eğitim için bir tahmin aracını temsil eder.
KALDIRIL -MIŞ. ScriptRunConfig Nesnesini kendi tanımlı ortamınızla veya Azure ML PyTorch seçilmiş ortamlarından biriyle kullanın. ScriptRunConfig ile PyTorch deneme çalıştırmalarını yapılandırmaya giriş için bkz. Azure Machine Learning ile PyTorch modellerini uygun ölçekte eğitme.
Desteklenen sürümler: 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6
PyTorch tahmin aracı başlatın.
Docker çalıştırma başvurusu. :type shm_size: str :p aram resume_from: Denemenin sürdürüldiği denetim noktasını veya model dosyalarını içeren veri yolu. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: Çalıştırma için izin verilen en uzun süre. Azure ML otomatik olarak
bu değerden daha uzun sürerse çalıştırmayı iptal edin.
- Devralma
-
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimatorPyTorch
Oluşturucu
PyTorch(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
Parametreler
- compute_target
- AbstractComputeTarget veya str
Eğitimin gerçekleşeceği işlem hedefi. Bu bir nesne veya "local" dizesi olabilir.
- vm_size
- str
Eğitim için oluşturulacak işlem hedefinin VM boyutu. Desteklenen değerler: Herhangi bir Azure VM boyutu.
- vm_priority
- str
Eğitim için oluşturulacak işlem hedefinin VM önceliği. Belirtilmezse , 'dedicated' kullanılır.
Desteklenen değerler: 'dedicated' ve 'lowpriority'.
Bu yalnızca vm_size param
girişte belirtildiğinde geçerlilik kazanır.
- script_params
- dict
içinde belirtilen entry_script
eğitim betiğine geçirilebilir komut satırı bağımsız değişkenlerinin sözlüğü.
- node_count
- int
Eğitim için kullanılan işlem hedefindeki düğüm sayısı. 1'den büyükse, bir MPI dağıtılmış işi çalıştırılır. AmlCompute Dağıtılmış işler için yalnızca hedef desteklenir.
- process_count_per_node
- int
Düğüm başına işlem sayısı. 1'den büyükse, bir MPI dağıtılmış işi çalıştırılır. AmlCompute Dağıtılmış işler için yalnızca hedef desteklenir.
- distributed_backend
- str
Dağıtılmış eğitim için iletişim arka ucu.
KALDIRIL -MIŞ. parametresini distributed_training
kullanın.
Desteklenen değerler: 'mpi', 'gloo' ve 'nccl'.
'mpi': MPI/Horovod 'gloo', 'nccl': Yerel PyTorch Dağıtılmış Eğitimi
Bu parametre veya process_count_per_node
> 1 olduğunda node_count
gereklidir.
== 1 ve process_count_per_node
== 1 olduğunda node_count
, arka uç açıkça ayarlanmadığı sürece arka uç kullanılmaz. AmlCompute Dağıtılmış eğitim için yalnızca hedef desteklenir.
Dağıtılmış eğitim işini çalıştırma parametreleri.
MPI arka ucuyla dağıtılmış bir iş çalıştırmak için, öğesini belirtmek process_count_per_node
için nesnesini kullanınMpi.
Gloo arka ucu ile dağıtılmış bir işi çalıştırmak için kullanın Gloo.
nccl arka ucu ile dağıtılmış bir iş çalıştırmak için kullanın Nccl.
- use_gpu
- bool
Denemeyi çalıştıracak ortamın GPU'ları destekleyip desteklemeymeyeceğini belirtir.
True ise, ortamda GPU tabanlı varsayılan bir Docker görüntüsü kullanılır. False ise CPU tabanlı bir görüntü kullanılır. Varsayılan docker görüntüleri (CPU veya GPU) yalnızca parametre ayarlanmadıysa custom_docker_image
kullanılır. Bu ayar yalnızca Docker özellikli işlem hedeflerinde kullanılır.
- custom_docker_base_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı.
KALDIRIL -MIŞ. parametresini custom_docker_image
kullanın.
Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı görüntü kullanılır.
- custom_docker_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı. Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı görüntü kullanılır.
- user_managed
- bool
Azure ML'nin mevcut python ortamını yeniden kullanıp kullanmayacağını belirtir. False ise, Azure ML conda bağımlılıkları belirtimini temel alan bir Python ortamı oluşturur.
- conda_packages
- list
Deneme için Python ortamına eklenecek conda paketlerini temsil eden dizelerin listesi.
- pip_packages
- list
Deneme için Python ortamına eklenecek pip paketlerini temsil eden dizelerin listesi.
- conda_dependencies_file_path
- str
Conda bağımlılıkları yaml dosyasının göreli yolu.
Belirtilirse, Azure ML çerçeveyle ilgili hiçbir paketi yüklemez.
KALDIRIL -MIŞ. parametresini conda_dependencies_file
kullanın.
- pip_requirements_file_path
- str
Pip gereksinimleri metin dosyasının göreli yolu.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
KALDIRIL -MIŞ. parametresini pip_requirements_file
kullanın.
- conda_dependencies_file
- str
Conda bağımlılıkları yaml dosyasının göreli yolu. Belirtilirse, Azure ML çerçeveyle ilgili hiçbir paketi yüklemez.
- pip_requirements_file
- str
Pip gereksinimleri metin dosyasının göreli yolu.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
- environment_variables
- dict
Ortam değişkenlerinin adlarını ve değerlerini içeren bir sözlük. Bu ortam değişkenleri, kullanıcı betiğinin yürütüldüğü işlemde ayarlanır.
- environment_definition
- Environment
Denemenin ortam tanımı. PythonSection, DockerSection ve ortam değişkenlerini içerir. Diğer parametreler aracılığıyla Estimator yapısına doğrudan sunulmayan tüm ortam seçenekleri bu parametre kullanılarak ayarlanabilir. Bu parametre belirtilirse, , , custom_docker_image
conda_packages
veya pip_packages
gibi use_gpu
ortamla ilgili diğer parametrelerden önceliklidir.
Hatalar, geçersiz parametre birleşimlerinde bildirilir.
- inputs
- list
Giriş olarak kullanılacak veya DatasetConsumptionConfig nesnelerinin DataReference listesi.
- shm_size
- str
Docker kapsayıcısının paylaşılan bellek bloğunun boyutu. Ayarlanmadıysa, varsayılan azureml.core.environment._DEFAULT_SHM_SIZE kullanılır. Daha fazla bilgi için bkz. Docker çalıştırma başvurusu.
- resume_from
- DataPath
Denemenin sürdürüldiği denetim noktası veya model dosyalarını içeren veri yolu.
- max_run_duration_seconds
- int
Çalıştırma için izin verilen en uzun süre. Azure ML, bu değerden daha uzun sürerse çalıştırmayı otomatik olarak iptal etmeye çalışır.
- framework_version
- str
Eğitim kodunu yürütmek için kullanılacak PyTorch sürümü.
PyTorch.get_supported_versions()
geçerli SDK tarafından desteklenen sürümlerin listesini döndürür.
- compute_target
- AbstractComputeTarget veya str
Eğitimin gerçekleşeceği işlem hedefi. Bu bir nesne veya "local" dizesi olabilir.
- vm_size
- str
Eğitim için oluşturulacak işlem hedefinin VM boyutu. Desteklenen değerler: Herhangi bir Azure VM boyutu.
- vm_priority
- str
Eğitim için oluşturulacak işlem hedefinin VM önceliği. Belirtilmezse , 'dedicated' kullanılır.
Desteklenen değerler: 'dedicated' ve 'lowpriority'.
Bu yalnızca vm_size param
girişte belirtildiğinde geçerlilik kazanır.
- script_params
- dict
içinde belirtilen entry_script
eğitim betiğine geçirilebilir komut satırı bağımsız değişkenlerinin sözlüğü.
- node_count
- int
Eğitim için kullanılan işlem hedefindeki düğüm sayısı. 1'den büyükse, mpi dağıtılmış iş çalıştırılır. Dağıtılmış işler için yalnızca azureml.core.compute.AmlCompute hedefi desteklenir.
- process_count_per_node
- int
Düğüm başına işlem sayısı. 1'den büyükse, bir MPI dağıtılmış işi çalıştırılır. AmlCompute Dağıtılmış işler için yalnızca hedef desteklenir.
- distributed_backend
- str
Dağıtılmış eğitim için iletişim arka ucu.
KALDIRIL -MIŞ. parametresini distributed_training
kullanın.
Desteklenen değerler: 'mpi', 'gloo' ve 'nccl'.
'mpi': MPI/Horovod 'gloo', 'nccl': Yerel PyTorch Dağıtılmış Eğitimi
Bu parametre veya process_count_per_node
> 1 olduğunda node_count
gereklidir.
== 1 ve process_count_per_node
== 1 olduğunda node_count
, arka uç açıkça ayarlanmadığı sürece arka uç kullanılmaz. AmlCompute Dağıtılmış eğitim için yalnızca hedef desteklenir.
Dağıtılmış eğitim işini çalıştırmaya yönelik parametreler.
MPI arka ucuyla dağıtılmış bir işi çalıştırmak için belirtmek üzere process_count_per_node
nesnesini kullanınMpi.
Gloo arka ucu ile dağıtılmış bir iş çalıştırmak için kullanın Gloo.
nccl arka ucuyla dağıtılmış bir işi çalıştırmak için kullanın Nccl.
- use_gpu
- bool
Denemeyi çalıştıracak ortamın GPU'ları destekleyip desteklemeymeyeceğini belirtir.
Doğruysa, ortamda GPU tabanlı varsayılan bir Docker görüntüsü kullanılır. False ise CPU tabanlı bir görüntü kullanılır. Varsayılan docker görüntüleri (CPU veya GPU) yalnızca parametre ayarlanmadıysa custom_docker_image
kullanılır. Bu ayar yalnızca Docker özellikli işlem hedeflerinde kullanılır.
- custom_docker_base_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı.
KALDIRIL -MIŞ. parametresini custom_docker_image
kullanın.
Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı bir görüntü kullanılır.
- custom_docker_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı. Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı bir görüntü kullanılır.
- user_managed
- bool
Azure ML'nin mevcut bir Python ortamını yeniden kullanıp kullanmayacağını belirtir. False ise, Azure ML conda bağımlılıkları belirtimini temel alan bir Python ortamı oluşturur.
- conda_packages
- list
Deneme için Python ortamına eklenecek conda paketlerini temsil eden dizelerin listesi.
- pip_packages
- list
Deneme için Python ortamına eklenecek pip paketlerini temsil eden dizelerin listesi.
- conda_dependencies_file_path
- str
Conda bağımlılıkları yaml dosyasının göreli yolu. Belirtilirse, Azure ML çerçeveyle ilgili paket yüklemez.
KALDIRIL -MIŞ. parametresini conda_dependencies_file
kullanın.
- pip_requirements_file_path
- str
Pip gereksinimleri metin dosyasının göreli yolu.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
KALDIRIL -MIŞ. parametresini pip_requirements_file
kullanın.
- conda_dependencies_file
- str
Conda bağımlılıkları yaml dosyasının göreli yolu. Belirtilirse, Azure ML çerçeveyle ilgili paket yüklemez.
- pip_requirements_file
- str
Pip gereksinimleri metin dosyasının göreli yolu.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
- environment_variables
- dict
Ortam değişkenlerinin adlarını ve değerlerini içeren bir sözlük. Bu ortam değişkenleri, kullanıcı betiğinin yürütüldüğü işlemde ayarlanır.
- environment_definition
- Environment
Denemenin ortam tanımı. PythonSection, DockerSection ve ortam değişkenlerini içerir. Diğer parametreler aracılığıyla Estimator yapısına doğrudan sunulmayan herhangi bir ortam seçeneği bu parametre kullanılarak ayarlanabilir. Bu parametre belirtilirse, , custom_docker_image
, conda_packages
veya pip_packages
gibi use_gpu
ortamla ilgili diğer parametrelerden önceliklidir.
Hatalar geçersiz birleşimlerde bildirilir.
- inputs
- list
azureml.data.data_reference listesi. Giriş olarak kullanılacak DataReference nesneleri.
- shm_size
Docker kapsayıcısının paylaşılan bellek bloğunun boyutu. Ayarlanmadıysa, varsayılan azureml.core.environment._DEFAULT_SHM_SIZE kullanılır. Daha fazla bilgi için bkz.
- framework_version
- str
Eğitim kodunu yürütmek için kullanılacak PyTorch sürümü.
PyTorch.get_supported_versions()
geçerli SDK tarafından desteklenen sürümlerin listesini döndürür.
- _enable_optimized_mode
- bool
Daha hızlı ortam hazırlığı için önceden oluşturulmuş çerçeve görüntüleriyle artımlı ortam derlemesini etkinleştirin. Önceden oluşturulmuş bir çerçeve görüntüsü, çerçeve bağımlılıklarının önceden yüklenmiş olduğu Azure ML varsayılan CPU/GPU temel görüntülerinin üzerine kurulmuştur.
- _disable_validation
- bool
Göndermeyi çalıştırmadan önce betik doğrulamayı devre dışı bırakın. Varsayılan değer True'dur.
Açıklamalar
Eğitim işi gönderirken Azure ML betiğinizi Docker kapsayıcısı içindeki conda ortamında çalıştırır. PyTorch kapsayıcıları aşağıdaki bağımlılıklara sahiptir.
Bağımlılıklar | PyTorch 1.0/1.1/1.2/1.3/ | PyTorch 1.4/1.5/1.6 | ———————- | —————– | ————- | Python | 3.6.2 | 3.6.2 | CUDA (yalnızca GPU görüntüsü) | 10.0 | 10.1 | cuDNN (yalnızca GPU görüntüsü) | 7.6.3 | 7.6.3 | NCCL (yalnızca GPU görüntüsü) | 2.4.8 | 2.4.8 | azureml-defaults | En Son | En Son | OpenMpi | 3.1.2 | 3.1.2 | horovod | 0.18.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | meşale | 1.0/1.1/1.2/1.3.1 | 1.4.0/1.5.0/1.6.0 | torchvision | 0.4.1 | 0.5.0 | git | 2.7.4 | 2.7.4 | tensorboard | 1.14 | 1.14 | gelecek | 0.17.1 | 0.17.1 |
Docker görüntüleri Ubuntu 16.04'ü genişletir.
Ek bağımlılıkları yüklemek için veya conda_packages
parametresini pip_packages
kullanabilirsiniz. Veya parametresini pip_requirements_file
conda_dependencies_file
belirtebilirsiniz.
Alternatif olarak, kendi görüntünüzü oluşturabilir ve parametresini custom_docker_image
tahmin aracı oluşturucusununa geçirebilirsiniz.
PyTorch eğitiminde kullanılan Docker kapsayıcıları hakkında daha fazla bilgi için bkz https://github.com/Azure/AzureML-Containers. .
PyTorch tahmin aracı, dağıtılmış eğitim için tüm azaltma çerçevesi olan horovod'ı kullanarak CPU ve GPU kümeleri arasında dağıtılmış eğitimi destekler. Dağıtılmış eğitimde PyTorch kullanma hakkında örnekler ve daha fazla bilgi için Azure Machine Learning ile PyTorch modellerini uygun ölçekte eğitme ve kaydetme öğreticisine bakın.
Öznitelikler
DEFAULT_VERSION
DEFAULT_VERSION = '1.4'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'PyTorch'
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin