Dela via


TensorFlow Klass

Representerar en estimator för träning i TensorFlow-experiment.

DEPRECATED. Använd objektet ScriptRunConfig med din egen definierade miljö eller någon av de Azure ML TensorFlow-kurerade miljöerna. En introduktion till hur du konfigurerar TensorFlow-experimentkörningar med ScriptRunConfig finns i Träna TensorFlow-modeller i stor skala med Azure Machine Learning.

Versioner som stöds: 1.10, 1.12, 1.13, 2.0, 2.1, 2.2

Initiera en TensorFlow-skattare.

Docker-körningsreferens. :type shm_size: str :p aram resume_from: Datasökvägen som innehåller kontrollpunkten eller modellfilerna som experimentet ska återupptas från. :type resume_from: azureml.datapath.DataPath :p aram max_run_duration_seconds: Den maximala tillåtna tiden för körningen. Azure ML försöker automatiskt

avbryt körningen om det tar längre tid än det här värdet.

Arv
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimator
TensorFlow

Konstruktor

TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parametrar

Name Description
source_directory
Obligatorisk
str

En lokal katalog som innehåller experimentkonfigurationsfiler.

compute_target
Obligatorisk

Beräkningsmålet där träningen ska ske. Detta kan antingen vara ett -objekt eller strängen "lokal".

vm_size
Obligatorisk
str

VM-storleken för beräkningsmålet som ska skapas för träningen. Värden som stöds: Valfri storlek på virtuella Azure-datorer.

vm_priority
Obligatorisk
str

VM-prioriteten för beräkningsmålet som ska skapas för träningen. Om inget anges används "dedikerad".

Värden som stöds: "dedikerad" och "lågprioritet".

Detta börjar endast gälla när vm_size param anges i indata.

entry_script
Obligatorisk
str

Den relativa sökvägen till filen som innehåller träningsskriptet.

script_params
Obligatorisk

En ordlista med kommandoradsargument som ska skickas till träningsskriptet som anges i entry_script.

node_count
Obligatorisk
int

Antalet noder i beräkningsmålet som används för träning. Endast målet AmlCompute stöds för distribuerad träning (node_count> 1).

process_count_per_node
Obligatorisk
int

När du använder MPI, antalet processer per nod.

worker_count
Obligatorisk
int

När du använder parameterservern för distribuerad träning, antalet arbetsnoder.

DEPRECATED. Ange som en del av parametern distributed_training .

parameter_server_count
Obligatorisk
int

När du använder parameterservern för distribuerad träning, antalet parameterservernoder.

distributed_backend
Obligatorisk
str

Kommunikationsserverdelen för distribuerad träning.

DEPRECATED. Använd parametern distributed_training .

Värden som stöds: "mpi" och "ps". "mpi" representerar MPI/Horovod och "ps" representerar parameterservern.

Den här parametern krävs när någon av node_count, process_count_per_node, worker_counteller parameter_server_count> 1. När det gäller "ps" ska summan av worker_count och parameter_server_count vara mindre än eller lika med node_count * (antalet processorer eller GPU:er per nod)

När node_count == 1 och process_count_per_node == 1 används ingen serverdel om inte serverdelen uttryckligen anges. AmlCompute Endast målet stöds för distribuerad träning.

distributed_training
Obligatorisk

Parametrar för att köra ett distribuerat träningsjobb.

För att köra ett distribuerat jobb med parameterserverserverdelen använder du ParameterServer -objektet för att ange worker_count och parameter_server_count. Summan av parametrarna worker_countparameter_server_count och ska vara mindre än eller lika med node_count * (antalet processorer eller GPU:er per nod).

För att köra ett distribuerat jobb med MPI-serverdelen använder Mpi du -objektet för att ange process_count_per_node.

use_gpu
Obligatorisk

Anger om miljön som ska köra experimentet ska ha stöd för GPU:er. Om det är sant används en GPU-baserad standard docker-avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.

use_docker
Obligatorisk

Anger om miljön som experimentet ska köras i ska vara Docker-baserad.

custom_docker_base_image
Obligatorisk
str

Namnet på den Docker-avbildning som avbildningen som ska användas för träning kommer att skapas.

DEPRECATED. Använd parametern custom_docker_image .

Om den inte anges används en standard-CPU-baserad avbildning som basavbildning.

custom_docker_image
Obligatorisk
str

Namnet på den Docker-avbildning som avbildningen som ska användas för träning kommer att skapas. Om den inte anges används en standard-CPU-baserad avbildning som basavbildning.

image_registry_details
Obligatorisk

Information om Docker-avbildningsregistret.

user_managed
Obligatorisk

Anger om Azure ML återanvänder en befintlig Python-miljö. Om det är falskt skapar Azure ML en Python-miljö baserat på specifikationen för conda-beroenden.

conda_packages
Obligatorisk

En lista med strängar som representerar conda-paket som ska läggas till i Python-miljön för experimentet.

pip_packages
Obligatorisk

En lista med strängar som representerar pip-paket som ska läggas till i Python-miljön för experimentet.

conda_dependencies_file_path
Obligatorisk
str

En sträng som representerar den relativa sökvägen till yaml-filen med conda-beroenden. Om detta anges installerar Inte Azure ML några ramverksrelaterade paket. DEPRECATED. Använd parametern conda_dependencies_file .

pip_requirements_file_path
Obligatorisk
str

En sträng som representerar den relativa sökvägen till textfilen pip-krav. Detta kan anges i kombination med parametern pip_packages . DEPRECATED. Använd parametern pip_requirements_file .

conda_dependencies_file
Obligatorisk
str

En sträng som representerar den relativa sökvägen till yaml-filen med conda-beroenden. Om detta anges installerar Inte Azure ML några ramverksrelaterade paket.

pip_requirements_file
Obligatorisk
str

En sträng som representerar den relativa sökvägen till textfilen pip-krav. Detta kan anges i kombination med parametern pip_packages .

environment_variables
Obligatorisk

En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i processen där användarskript körs.

environment_definition
Obligatorisk

Miljödefinitionen för experimentet. Den innehåller PythonSection, DockerSection och miljövariabler. Alla miljöalternativ som inte exponeras direkt via andra parametrar för beräkningskonstruktionen kan anges med den här parametern. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packageseller pip_packages. Fel rapporteras för dessa ogiltiga kombinationer.

inputs
Obligatorisk

En lista över DataReference eller DatasetConsumptionConfig objekt som ska användas som indata.

source_directory_data_store
Obligatorisk

Säkerhetskopieringsdatalager för projektresurs.

shm_size
Obligatorisk
str

Storleken på Docker-containerns delade minnesblock. Om det inte anges används standard azureml.core.environment._DEFAULT_SHM_SIZE. Mer information finns i Docker-körningsreferens.

resume_from
Obligatorisk

Datasökvägen som innehåller kontrollpunkten eller modellfilerna som experimentet ska återupptas från.

max_run_duration_seconds
Obligatorisk
int

Den maximala tillåtna tiden för körningen. Azure ML försöker automatiskt avbryta körningen om det tar längre tid än det här värdet.

framework_version
Obligatorisk
str

TensorFlow-versionen som ska användas för att köra träningskod. Om ingen version anges kommer beräknaren som standard att använda den senaste versionen som stöds av Azure ML. Använd TensorFlow.get_supported_versions() för att returnera en lista för att hämta en lista över alla versioner som stöds av aktuell Azure ML SDK.

source_directory
Obligatorisk
str

En lokal katalog som innehåller experimentkonfigurationsfiler.

compute_target
Obligatorisk

Beräkningsmålet där träning ska ske. Detta kan antingen vara ett objekt eller strängen "local".

vm_size
Obligatorisk
str

Storleken på den virtuella datorn för beräkningsmålet som ska skapas för träningen. Värden som stöds: Valfri storlek på virtuella Azure-datorer.

vm_priority
Obligatorisk
str

Vm-prioriteten för det beräkningsmål som ska skapas för träningen. Om det inte anges används "dedikerad".

Värden som stöds: "dedikerad" och "lågprioritet".

Detta gäller endast när vm_size param anges i indata.

entry_script
Obligatorisk
str

Den relativa sökvägen till filen som innehåller träningsskriptet.

script_params
Obligatorisk

En ordlista med kommandoradsargument som ska skickas till tne-träningsskriptet som anges i entry_script.

node_count
Obligatorisk
int

Antalet noder i beräkningsmålet som används för träning. AmlCompute Endast målet stöds för distribuerad träning (node_count>1).

process_count_per_node
Obligatorisk
int

När du använder MPI, antalet processer per nod.

worker_count
Obligatorisk
int

När du använder Parameter Server, antalet arbetsnoder.

DEPRECATED. Ange som en del av parametern distributed_training .

parameter_server_count
Obligatorisk
int

När du använder Parameter Server, antalet parameterservernoder.

distributed_backend
Obligatorisk
str

Kommunikationsserverdelen för distribuerad träning.

DEPRECATED. Använd parametern distributed_training .

Värden som stöds: "mpi" och "ps". "mpi" representerar MPI/Horovod och ps representerar Parameter Server.

Den här parametern krävs när någon av node_count, process_count_per_node, worker_counteller parameter_server_count> 1. När det gäller "ps" ska summan av worker_count och parameter_server_count vara mindre än eller lika med node_count * (antal processorer eller GPU:er per nod)

När node_count == 1 och process_count_per_node == 1 används ingen serverdel om inte serverdelen uttryckligen anges. AmlCompute Endast målet stöds för distribuerad träning. stöds för distribuerad träning.

distributed_training
Obligatorisk

Parametrar för att köra ett distribuerat träningsjobb.

För att köra ett distribuerat jobb med parameterserverns serverdel använder du ParameterServer -objektet för att ange worker_count och parameter_server_count. Summan av parametrarna worker_countparameter_server_count och bör vara mindre än eller lika med node_count * (antalet processorer eller GPU:er per nod).

För att köra ett distribuerat jobb med MPI-serverdelen använder du Mpi objektet för att ange process_count_per_node.

use_gpu
Obligatorisk

Anger om miljön som ska köra experimentet ska ha stöd för GPU:er. Om det är sant används en GPU-baserad Standard Docker-avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om custom_docker_image parametern inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.

use_docker
Obligatorisk

Anger om miljön som experimentet ska köras i ska vara Docker-baserat.

custom_docker_base_image
Obligatorisk
str

Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas.

DEPRECATED. Använd parametern custom_docker_image .

Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.

custom_docker_image
Obligatorisk
str

Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.

image_registry_details
Obligatorisk

Information om Docker-avbildningsregistret.

user_managed
Obligatorisk

Anger om Azure ML återanvänder en befintlig Python-miljö. Om det är falskt skapar Azure ML en Python-miljö baserat på specifikationen för conda-beroenden.

conda_packages
Obligatorisk

En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön för experimentet.

pip_packages
Obligatorisk

En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön för experimentet.

conda_dependencies_file_path
Obligatorisk
str

Den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket. DEPRECATED. Använd parametern conda_dependencies_file .

pip_requirements_file_path
Obligatorisk
str

Den relativa sökvägen till pip-kravtextfilen. Detta kan anges i kombination med parametern pip_packages . DEPRECATED. Använd parametern pip_requirements_file .

environment_variables
Obligatorisk

En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i den process där användarskript körs.

conda_dependencies_file
Obligatorisk
str

En sträng som representerar den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket.

pip_requirements_file
Obligatorisk
str

Den relativa sökvägen till pip-kravtextfilen. Detta kan anges i kombination med parametern pip_packages .

environment_variables
Obligatorisk

En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i den process där användarskript körs.

environment_definition
Obligatorisk

Miljödefinitionen för experimentet. Den innehåller variablerna PythonSection, DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för beräkningskonstruktionen kan anges med den här parametern. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packageseller pip_packages. Fel rapporteras för dessa ogiltiga kombinationer.

inputs
Obligatorisk

En lista över azureml.data.data_reference. DataReference-objekt som ska användas som indata.

source_directory_data_store
Obligatorisk
str

Det säkerhetskopierade dataarkivet för projektresursen.

shm_size
Obligatorisk

Storleken på Docker-containerns delade minnesblock. Om inte anges är standardvärdet azureml.core.environment._DEFAULT_SHM_SIZE. Mer information finns i

framework_version
Obligatorisk
str

TensorFlow-versionen som ska användas för att köra träningskod. Om ingen version tillhandahålls kommer uppskattningen som standard att vara den senaste versionen som stöds av Azure ML. Använd TensorFlow.get_supported_versions() för att returnera en lista för att hämta en lista över alla versioner som stöds av aktuell Azure ML SDK.

_enable_optimized_mode
Obligatorisk

Aktivera inkrementell miljöversion med färdiga ramverksbilder för snabbare förberedelse av miljön. En fördefinierad ramverksavbildning bygger på Azure ML-standard-CPU/GPU-basavbildningar med ramverksberoenden förinstallerade.

_disable_validation
Obligatorisk

Inaktivera skriptvalidering innan du kör sändningen. Standardvärdet är Sant.

_show_lint_warnings
Obligatorisk

Visa varningar om skriptlindning. Standardvärdet är Falskt.

_show_package_warnings
Obligatorisk

Visa paketverifieringsvarningar. Standardvärdet är Falskt.

Kommentarer

När du skickar ett träningsjobb kör Azure ML skriptet i en conda-miljö i en Docker-container. TensorFlow-containrarna har följande beroenden installerade.

Beroenden | TensorFlow 1.10/1.12 | TensorFlow 1.13 | TF 2.0/2.1/2.2 | ———————————— | ——————– | ————— | —————— | Python | 3.6.2 | 3.6.2 | 3.6.2 | CUDA (endast GPU-avbildning) | 9.0 | 10,0 | 10,0 | cuDNN (endast GPU-avbildning) | 7.6.3 | 7.6.3 | 7.6.3 | NCCL (endast GPU-avbildning) | 2.4.8 | 2.4.8 | 2.4.8 | azureml-defaults | Senaste | Senaste | Senaste | azureml-dataset-runtime[fuse,pandas] | Senaste | Senaste | Senaste | IntelMpi | 2018.3.222 | 2018.3.222 | —- | OpenMpi | —- | —- | 3.1.2 | horovod | 0.15.2 | 0.16.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | 4.5.11 | tensorflow | 1.10.0/1.12.0 | 1.13.1 | 2.0.0/2.1.0/2.2.0 | git | 2.7.4 | 2.7.4 | 2.7.4 |

V1 Docker-avbildningarna utökar Ubuntu 16.04. V2 Docker-avbildningarna utökar Ubuntu 18.04.

Om du vill installera ytterligare beroenden kan du antingen använda parametern pip_packages eller conda_packages . Eller så kan du ange parametern pip_requirements_file eller conda_dependencies_file . Du kan också skapa en egen avbildning och skicka parametern custom_docker_image till beräkningskonstruktorn.

Mer information om Docker-containrar som används i TensorFlow-träning finns https://github.com/Azure/AzureML-Containersi .

TensorFlow-klassen stöder två metoder för distribuerad träning:

Exempel och mer information om hur du använder TensorFlow i distribuerad träning finns i självstudien Träna och registrera TensorFlow-modeller i stor skala med Azure Machine Learning.

Attribut

DEFAULT_VERSION

DEFAULT_VERSION = '1.13'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'TensorFlow'