TensorFlow Sınıf
TensorFlow denemelerinde eğitim için bir tahmin aracını temsil eder.
KALDIRIL -MIŞ. ScriptRunConfig Nesnesini kendi tanımlı ortamınızla veya Azure ML TensorFlow seçilmiş ortamlarından biriyle kullanın. ScriptRunConfig ile TensorFlow deneme çalıştırmalarını yapılandırmaya giriş için bkz. Azure Machine Learning ile TensorFlow modellerini uygun ölçekte eğitin.
Desteklenen sürümler: 1.10, 1.12, 1.13, 2.0, 2.1, 2.2
TensorFlow tahmin aracı başlatın.
Docker çalıştırma başvurusu. :type shm_size: str :p aram resume_from: Denemenin sürdürüldiği denetim noktasını veya model dosyalarını içeren veri yolu. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: Çalıştırma için izin verilen en uzun süre. Azure ML otomatik olarak
bu değerden daha uzun sürerse çalıştırmayı iptal edin.
- Devralma
-
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimatorTensorFlow
Oluşturucu
TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
Parametreler
- compute_target
- AbstractComputeTarget veya str
Eğitimin gerçekleşeceği işlem hedefi. Bu bir nesne veya "local" dizesi olabilir.
- vm_size
- str
Eğitim için oluşturulacak işlem hedefinin VM boyutu. Desteklenen değerler: Herhangi bir Azure VM boyutu.
- vm_priority
- str
Eğitim için oluşturulacak işlem hedefinin VM önceliği. Belirtilmezse , 'dedicated' kullanılır.
Desteklenen değerler:'dedicated' ve 'lowpriority'.
Bu yalnızca vm_size param
girişte belirtildiğinde geçerlilik kazanır.
- script_params
- dict
içinde belirtilen entry_script
eğitim betiğine geçirilebilir komut satırı bağımsız değişkenlerinin sözlüğü.
- node_count
- int
Eğitim için kullanılan işlem hedefindeki düğüm sayısı. AmlCompute Dağıtılmış eğitim için yalnızca hedef desteklenir (node_count
> 1).
- worker_count
- int
Dağıtılmış eğitim için Parametre Sunucusu kullanılırken çalışan düğümlerinin sayısı.
KALDIRIL -MIŞ. parametresinin distributed_training
bir parçası olarak belirtin.
- parameter_server_count
- int
Dağıtılmış eğitim için Parametre Sunucusu kullanılırken, parametre sunucu düğümlerinin sayısı.
- distributed_backend
- str
Dağıtılmış eğitim için iletişim arka ucu.
KALDIRIL -MIŞ. parametresini distributed_training
kullanın.
Desteklenen değerler: 'mpi' ve 'ps'. 'mpi' MPI/Horovod'ı, 'ps' ise Parametre Sunucusunu temsil eder.
Bu parametre, herhangi bir node_count
, process_count_per_node
, worker_count
veya parameter_server_count
> 1 olduğunda gereklidir.
'ps' durumunda ve parameter_server_count
toplamının * değerinden worker_count
küçük veya eşit node_count
olması gerekir (düğüm başına CPU veya GPU sayısı)
== 1 ve process_count_per_node
== 1 olduğunda node_count
, arka uç açıkça ayarlanmadığı sürece arka uç kullanılmaz. AmlCompute Dağıtılmış eğitim için yalnızca hedef desteklenir.
- distributed_training
- ParameterServer veya Mpi
Dağıtılmış eğitim işini çalıştırma parametreleri.
Parametre Sunucusu arka ucu ile dağıtılmış bir iş çalıştırmak için ve parameter_server_count
belirtmek worker_count
için nesnesini kullanınParameterServer.
ve parameter_server_count
parametrelerinin worker_count
toplamı * değerinden küçük veya buna eşit node_count
olmalıdır (düğüm başına CPU veya GPU sayısı).
MPI arka ucu ile dağıtılmış bir iş çalıştırmak için nesnesini kullanarak Mpi belirtin process_count_per_node
.
- use_gpu
- bool
Denemeyi çalıştıracak ortamın GPU'ları destekleyip desteklemeymeyeceğini belirtir.
True ise, ortamda GPU tabanlı varsayılan docker görüntüsü kullanılır. False ise CPU tabanlı bir görüntü kullanılır. Varsayılan docker görüntüleri (CPU veya GPU) yalnızca parametre ayarlanmadıysa custom_docker_image
kullanılır. Bu ayar yalnızca Docker özellikli işlem hedeflerinde kullanılır.
- custom_docker_base_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı.
KALDIRIL -MIŞ. parametresini custom_docker_image
kullanın.
Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı görüntü kullanılır.
- custom_docker_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı. Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı görüntü kullanılır.
- user_managed
- bool
Azure ML'nin mevcut python ortamını yeniden kullanıp kullanmayacağını belirtir. False ise, Azure ML conda bağımlılıkları belirtimini temel alan bir Python ortamı oluşturur.
- conda_packages
- list
Deneme için Python ortamına eklenecek conda paketlerini temsil eden dizelerin listesi.
- pip_packages
- list
Deneme için Python ortamına eklenecek pip paketlerini temsil eden dizelerin listesi.
- conda_dependencies_file_path
- str
Conda bağımlılıkları yaml dosyasının göreli yolunu temsil eden bir dize.
Belirtilirse, Azure ML çerçeveyle ilgili hiçbir paketi yüklemez.
KALDIRIL -MIŞ. parametresini conda_dependencies_file
kullanın.
- pip_requirements_file_path
- str
Pip gereksinimleri metin dosyasının göreli yolunu temsil eden bir dize.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
KALDIRIL -MIŞ. parametresini pip_requirements_file
kullanın.
- conda_dependencies_file
- str
Conda bağımlılıkları yaml dosyasının göreli yolunu temsil eden bir dize. Belirtilirse, Azure ML çerçeveyle ilgili hiçbir paketi yüklemez.
- pip_requirements_file
- str
Pip gereksinimleri metin dosyasının göreli yolunu temsil eden bir dize.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
- environment_variables
- dict
Ortam değişkenlerinin adlarını ve değerlerini içeren bir sözlük. Bu ortam değişkenleri, kullanıcı betiğinin yürütüldüğü işlemde ayarlanır.
- environment_definition
- Environment
Denemenin ortam tanımı. PythonSection, DockerSection ve ortam değişkenlerini içerir. Diğer parametreler aracılığıyla Estimator yapısına doğrudan sunulmayan tüm ortam seçenekleri bu parametre kullanılarak ayarlanabilir. Bu parametre belirtilirse, , custom_docker_image
, conda_packages
veya pip_packages
gibi use_gpu
ortamla ilgili diğer parametrelerden önceliklidir.
Bu geçersiz birleşimlerde hatalar bildirilir.
- inputs
- list
Giriş olarak kullanılacak veya DatasetConsumptionConfig nesnelerinin DataReference listesi.
- shm_size
- str
Docker kapsayıcısının paylaşılan bellek bloğunun boyutu. Ayarlanmadıysa, varsayılan azureml.core.environment._DEFAULT_SHM_SIZE kullanılır. Daha fazla bilgi için bkz. Docker çalıştırma başvurusu.
- resume_from
- DataPath
Denemenin sürdürüldiği denetim noktası veya model dosyalarını içeren veri yolu.
- max_run_duration_seconds
- int
Çalıştırma için izin verilen en uzun süre. Azure ML, bu değerden daha uzun sürerse çalıştırmayı otomatik olarak iptal etmeye çalışır.
- framework_version
- str
Eğitim kodunu yürütmek için kullanılacak TensorFlow sürümü.
Sürüm sağlanmazsa tahmin aracı varsayılan olarak Azure ML tarafından desteklenen en son sürüme ayarlanır.
Geçerli Azure ML SDK'sını destekleyen tüm sürümlerin listesini almak için bir liste döndürmek için kullanın TensorFlow.get_supported_versions()
.
- compute_target
- AbstractComputeTarget veya str
Eğitimin gerçekleşeceği işlem hedefi. Bu bir nesne veya "local" dizesi olabilir.
- vm_size
- str
Eğitim için oluşturulacak işlem hedefinin VM boyutu. Desteklenen değerler: Herhangi bir Azure VM boyutu.
- vm_priority
- str
Eğitim için oluşturulacak işlem hedefinin VM önceliği. Belirtilmezse , 'dedicated' kullanılır.
Desteklenen değerler:'dedicated' ve 'lowpriority'.
Bu yalnızca vm_size param
girişte belirtildiğinde geçerlilik kazanır.
- script_params
- dict
içinde belirtilen entry_script
tne eğitim betiğine geçirilebilir komut satırı bağımsız değişkenlerinin sözlüğü.
- node_count
- int
Eğitim için kullanılan işlem hedefindeki düğüm sayısı. AmlCompute Dağıtılmış eğitim için yalnızca hedef desteklenir (node_count
> 1).
- worker_count
- int
Parametre Sunucusu kullanılırken çalışan düğümlerinin sayısı.
KALDIRIL -MIŞ. parametresinin distributed_training
bir parçası olarak belirtin.
- parameter_server_count
- int
Parametre Sunucusu kullanılırken, parametre sunucusu düğümlerinin sayısı.
- distributed_backend
- str
Dağıtılmış eğitim için iletişim arka ucu.
KALDIRIL -MIŞ. parametresini distributed_training
kullanın.
Desteklenen değerler: 'mpi' ve 'ps'. 'mpi' MPI/Horovod'ı, 'ps' ise Parametre Sunucusunu temsil eder.
Bu parametre , , process_count_per_node
worker_count
veya parameter_server_count
> 1'in herhangi biri node_count
olduğunda gereklidir.
'ps' durumunda ve parameter_server_count
toplamının * değerinden worker_count
küçük veya eşit node_count
olması gerekir (düğüm başına CPU veya GPU sayısı)
== 1 ve process_count_per_node
== 1 olduğunda node_count
, arka uç açıkça ayarlanmadığı sürece arka uç kullanılmaz. AmlCompute Dağıtılmış eğitim için yalnızca hedef desteklenir.
dağıtılmış eğitim için desteklenir.
- distributed_training
- ParameterServer veya Mpi
Dağıtılmış eğitim işini çalıştırmaya yönelik parametreler.
Parametre Sunucusu arka ucuyla dağıtılmış bir işi çalıştırmak için ve parameter_server_count
belirtmek worker_count
için nesnesini kullanınParameterServer.
ve parametrelerinin worker_count
toplamı * değerinden parameter_server_count
küçük veya buna eşit node_count
olmalıdır (düğüm başına CPU veya GPU sayısı).
MPI arka ucuyla dağıtılmış bir işi çalıştırmak için belirtmek üzere process_count_per_node
nesnesini kullanınMpi.
- use_gpu
- bool
Denemeyi çalıştıracak ortamın GPU'ları destekleyip desteklemeymeyeceğini belirtir.
Doğruysa, ortamda GPU tabanlı varsayılan bir Docker görüntüsü kullanılır. False ise CPU tabanlı bir görüntü kullanılır. Varsayılan docker görüntüleri (CPU veya GPU) yalnızca parametre ayarlanmadıysa custom_docker_image
kullanılır. Bu ayar yalnızca Docker özellikli işlem hedeflerinde kullanılır.
- custom_docker_base_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı.
KALDIRIL -MIŞ. parametresini custom_docker_image
kullanın.
Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı bir görüntü kullanılır.
- custom_docker_image
- str
Eğitim için kullanılacak görüntünün oluşturulacağı Docker görüntüsünün adı. Ayarlanmadıysa, temel görüntü olarak varsayılan CPU tabanlı bir görüntü kullanılır.
- user_managed
- bool
Azure ML'nin mevcut bir Python ortamını yeniden kullanıp kullanmayacağını belirtir. False ise, Azure ML conda bağımlılıkları belirtimini temel alan bir Python ortamı oluşturur.
- conda_packages
- list
Deneme için Python ortamına eklenecek conda paketlerini temsil eden dizelerin listesi.
- pip_packages
- list
Deneme için Python ortamına eklenecek pip paketlerini temsil eden dizelerin listesi.
- conda_dependencies_file_path
- str
Conda bağımlılıkları yaml dosyasının göreli yolu. Belirtilirse, Azure ML çerçeveyle ilgili paket yüklemez.
KALDIRIL -MIŞ. parametresini conda_dependencies_file
kullanın.
- pip_requirements_file_path
- str
Pip gereksinimleri metin dosyasının göreli yolu.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
KALDIRIL -MIŞ. parametresini pip_requirements_file
kullanın.
- environment_variables
- dict
Ortam değişkenlerinin adlarını ve değerlerini içeren bir sözlük. Bu ortam değişkenleri, kullanıcı betiğinin yürütüldüğü işlemde ayarlanır.
- conda_dependencies_file
- str
Conda bağımlılıkları yaml dosyasının göreli yolunu temsil eden bir dize. Belirtilirse, Azure ML çerçeveyle ilgili paket yüklemez.
- pip_requirements_file
- str
Pip gereksinimleri metin dosyasının göreli yolu.
Bu, parametresiyle birlikte pip_packages
sağlanabilir.
- environment_variables
Ortam değişkenlerinin adlarını ve değerlerini içeren bir sözlük. Bu ortam değişkenleri, kullanıcı betiğinin yürütüldüğü işlemde ayarlanır.
- environment_definition
- Environment
Denemenin ortam tanımı. PythonSection, DockerSection ve ortam değişkenlerini içerir. Diğer parametreler aracılığıyla Estimator yapısına doğrudan sunulmayan herhangi bir ortam seçeneği bu parametre kullanılarak ayarlanabilir. Bu parametre belirtilirse, , custom_docker_image
, conda_packages
veya pip_packages
gibi use_gpu
ortamla ilgili diğer parametrelerden önceliklidir.
Bu geçersiz birleşimlerde hatalar bildirilir.
- inputs
- list
azureml.data.data_reference listesi. Giriş olarak kullanılacak DataReference nesneleri.
- shm_size
Docker kapsayıcısının paylaşılan bellek bloğunun boyutu. Ayarlanmadıysa, varsayılan değer azureml.core.environment._DEFAULT_SHM_SIZE. Daha fazla bilgi için bkz.
- framework_version
- str
Eğitim kodunu yürütmek için kullanılacak TensorFlow sürümü. Sürüm sağlanmazsa tahmin aracı varsayılan olarak Azure ML tarafından desteklenen en son sürüme ayarlanır. Geçerli Azure ML SDK'sını destekleyen tüm sürümlerin listesini almak üzere bir liste döndürmek için TensorFlow.get_supported_versions() kullanın.
- _enable_optimized_mode
- bool
Daha hızlı ortam hazırlığı için önceden oluşturulmuş çerçeve görüntüleriyle artımlı ortam derlemesini etkinleştirin. Önceden oluşturulmuş bir çerçeve görüntüsü, çerçeve bağımlılıklarının önceden yüklenmiş olduğu Azure ML varsayılan CPU/GPU temel görüntülerinin üzerine kurulmuştur.
- _disable_validation
- bool
Göndermeyi çalıştırmadan önce betik doğrulamayı devre dışı bırakın. Varsayılan değer True'dur.
Açıklamalar
Eğitim işi gönderirken Azure ML betiğinizi Docker kapsayıcısı içindeki conda ortamında çalıştırır. TensorFlow kapsayıcılarında aşağıdaki bağımlılıklar yüklüdür.
Bağımlılıklar | TensorFlow 1.10/1.12 | TensorFlow 1.13 | TF 2.0/2.1/2.2 | ———————————— | ——————– | ————— | —————— | Python | 3.6.2 | 3.6.2 | 3.6.2 | CUDA (yalnızca GPU görüntüsü) | 9.0 | 10.0 | 10.0 | cuDNN (yalnızca GPU görüntüsü) | 7.6.3 | 7.6.3 | 7.6.3 | NCCL (yalnızca GPU görüntüsü) | 2.4.8 | 2.4.8 | 2.4.8 | azureml-defaults | En Son | En Son | En Son | azureml-dataset-runtime[fuse,pandas] | En Son | En Son | En Son | IntelMpi | 2018.3.222 | 2018.3.222 | —- | OpenMpi | —- | —- | 3.1.2 | horovod | 0.15.2 | 0.16.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | 4.5.11 | tensorflow | 1.10.0/1.12.0 | 1.13.1 | 2.0.0/2.1.0/2.2.0 | git | 2.7.4 | 2.7.4 | 2.7.4 |
v1 Docker görüntüleri Ubuntu 16.04'ü genişletir. v2 Docker görüntüleri Ubuntu 18.04'ü genişletir.
Ek bağımlılıkları yüklemek için veya conda_packages
parametresini pip_packages
kullanabilirsiniz. Veya parametresini pip_requirements_file
conda_dependencies_file
belirtebilirsiniz.
Alternatif olarak, kendi görüntünüzü oluşturabilir ve parametresini custom_docker_image
tahmin aracı oluşturucusununa geçirebilirsiniz.
TensorFlow eğitiminde kullanılan Docker kapsayıcıları hakkında daha fazla bilgi için bkz https://github.com/Azure/AzureML-Containers. .
TensorFlow sınıfı iki dağıtılmış eğitim yöntemini destekler:
MPI tabanlı dağıtılmış eğitimi kullanarak
Horovod çerçevesi
Yerel dağıtılmış TensorFlow
Dağıtılmış eğitimde TensorFlow kullanma hakkında örnekler ve daha fazla bilgi için Azure Machine Learning ile TensorFlow modellerini uygun ölçekte eğitma ve kaydetme öğreticisine bakın.
Öznitelikler
DEFAULT_VERSION
DEFAULT_VERSION = '1.13'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'TensorFlow'
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin