TensorFlow Osztály
Becslőt jelöl a TensorFlow-kísérletek betanításához.
ELAVULT. Használja az ScriptRunConfig objektumot a saját meghatározott környezetével vagy az Azure ML TensorFlow válogatott környezetek egyikével. A TensorFlow-kísérletfuttatások ScriptRunConfig használatával történő konfigurálásának ismertetését lásd: TensorFlow-modellek nagy léptékű betanítása az Azure Machine Learning használatával.
Támogatott verziók: 1.10, 1.12, 1.13, 2.0, 2.1, 2.2
TensorFlow-becslő inicializálása.
Docker-futtatási referencia. :type shm_size: str :p aram resume_from: A kísérlet folytatásához használni kívánt ellenőrzőpontot vagy modellfájlokat tartalmazó adatelérési út. :type resume_from: azureml.datapath.DataPath.DataPath :p aram max_run_duration_seconds: A futtatás maximálisan engedélyezett ideje. Az Azure ML megkísérli automatikusan
megszakítja a futtatásokat, ha ennél az értéknél több időt vesz igénybe.
- Öröklődés
-
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimatorTensorFlow
Konstruktor
TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)Paraméterek
- compute_target
- AbstractComputeTarget vagy str
A számítási cél, ahol a betanítás történik. Ez lehet egy objektum vagy a "local" sztring.
- vm_size
- str
A betanításhoz létrehozandó számítási cél virtuálisgép-mérete. Támogatott értékek: Bármely Azure-beli virtuálisgép-méret.
- vm_priority
- str
A betanításhoz létrehozandó számítási cél virtuálisgép-prioritása. Ha nincs megadva, a rendszer a "dedicated" (dedikált) értéket használja.
Támogatott értékek: 'dedicated' és 'lowpriority'.
Ez csak akkor lép érvénybe, ha a vm_size param meg van adva a bemenetben.
- script_params
- dict
Parancssori argumentumok szótára, amely a(z) fájlban megadott betanítási entry_scriptszkriptnek adható át.
- node_count
- int
A betanításhoz használt számítási cél csomópontjainak száma. Csak a AmlCompute cél támogatott az elosztott betanításhoz (node_count> 1).
- worker_count
- int
Ha a Paraméterkiszolgálót használja az elosztott betanításhoz, a munkavégző csomópontok száma.
ELAVULT. Adja meg a distributed_training paraméter részeként.
- parameter_server_count
- int
Ha a Paraméterkiszolgálót használja az elosztott betanításhoz, a paraméterkiszolgáló-csomópontok száma.
- distributed_backend
- str
Az elosztott betanítás kommunikációs háttérrendszere.
ELAVULT. Használja a paramétert distributed_training .
Támogatott értékek: "mpi" és "ps". Az mpi az MPI/Horovod, a "ps" pedig a paraméterkiszolgálót jelöli.
Ez a paraméter akkor szükséges, ha a , process_count_per_node, worker_countvagy parameter_server_count> 1 bármelyikenode_count.
"ps" esetén a és parameter_server_count az összege worker_count nem lehet kisebb, node_count mint * (cpu-k vagy GPU-k száma csomópontonként)
Ha node_count == 1 és process_count_per_node == 1, a rendszer csak akkor használ háttérrendszert, ha a háttérrendszer kifejezetten be van állítva. Elosztott betanítás esetén csak a AmlCompute cél támogatott.
- distributed_training
- ParameterServer vagy Mpi
Elosztott betanítási feladat futtatásának paraméterei.
Elosztott feladat Paraméterkiszolgáló háttérrendszerrel való futtatásához használja az objektumot a és parameter_server_counta ParameterServer megadásáhozworker_count.
A és a parameter_server_count paraméterek összege worker_count nem lehet kisebb, node_count mint * (a cpu-k vagy GPU-k száma csomópontonként).
Elosztott feladat MPI-háttérrendszerrel való futtatásához használja az objektumot a Mpi beállításhoz process_count_per_node.
- use_gpu
- bool
Meghatározza, hogy a kísérlet futtatásához használandó környezet támogassa-e a GPU-kat.
Ha igaz, a rendszer gpu-alapú alapértelmezett Docker-rendszerképet használ a környezetben. Ha hamis, a rendszer cpu-alapú rendszerképet használ. Az alapértelmezett Docker-rendszerképek (CPU vagy GPU) csak akkor lesznek használatban, ha a custom_docker_image paraméter nincs beállítva. Ez a beállítás csak a Docker-kompatibilis számítási célokban használatos.
- use_docker
- bool
Meghatározza, hogy a kísérlet futtatásához használandó környezetnek Docker-alapúnak kell-e lennie.
- custom_docker_base_image
- str
Annak a Docker-rendszerképnek a neve, amelyből a betanításhoz használni kívánt rendszerkép létrejön.
ELAVULT. Használja a paramétert custom_docker_image .
Ha nincs beállítva, a rendszer egy alapértelmezett CPU-alapú rendszerképet használ alapként.
- custom_docker_image
- str
Annak a Docker-rendszerképnek a neve, amelyből a betanításhoz használni kívánt rendszerkép létrejön. Ha nincs beállítva, a rendszer egy alapértelmezett CPU-alapú rendszerképet használ alapként.
- user_managed
- bool
Meghatározza, hogy az Azure ML újra felhasználja-e a meglévő Python-környezetet. Ha hamis, az Azure ML létrehoz egy Python-környezetet a conda függőségek specifikációja alapján.
- conda_packages
- list
A kísérlet Python-környezetéhez hozzáadandó Conda-csomagokat jelölő sztringek listája.
- pip_packages
- list
A kísérlet Python-környezetéhez hozzáadandó pip-csomagokat képviselő sztringek listája.
- conda_dependencies_file_path
- str
A conda dependencies yaml fájl relatív elérési útját jelölő sztring.
Ha meg van adva, az Azure ML nem telepít keretrendszerhez kapcsolódó csomagokat.
ELAVULT. Használja a paramétert conda_dependencies_file .
- pip_requirements_file_path
- str
A pip-követelmények szövegfájljának relatív elérési útját jelölő sztring.
Ez a paraméterrel pip_packages együtt adható meg.
ELAVULT. Használja a paramétert pip_requirements_file .
- conda_dependencies_file
- str
A conda dependencies yaml fájl relatív elérési útját jelölő sztring. Ha meg van adva, az Azure ML nem telepít keretrendszerhez kapcsolódó csomagokat.
- pip_requirements_file
- str
A pip-követelmények szövegfájljának relatív elérési útját jelölő sztring.
Ez a paraméterrel pip_packages együtt adható meg.
- environment_variables
- dict
Környezeti változók neveinek és értékeinek szótára. Ezek a környezeti változók a felhasználói szkript végrehajtásának folyamatán vannak beállítva.
- environment_definition
- Environment
A kísérlet környezetdefiníciója. Ide tartoznak a PythonSection, a DockerSection és a környezeti változók. Ezzel a paraméterrel bármely olyan környezeti beállítás beállítható, amely nem érhető el közvetlenül a Becslő szerkezet más paraméterein keresztül. Ha ez a paraméter meg van adva, elsőbbséget élvez más környezettel kapcsolatos paraméterekkel szemben, például use_gpu, custom_docker_image, conda_packagesvagy pip_packages.
Ezek az érvénytelen kombinációk hibákat fognak jelenteni.
- inputs
- list
A bemenetként használandó vagy DatasetConsumptionConfig objektumok listájaDataReference.
- shm_size
- str
A Docker-tároló megosztott memóriablokkjának mérete. Ha nincs beállítva, a rendszer az alapértelmezett azureml.core.environment._DEFAULT_SHM_SIZE használja. További információ: Docker-futtatási referencia.
- resume_from
- DataPath
A kísérlet folytatásához használni kívánt ellenőrzőpontot vagy modellfájlokat tartalmazó adatelérési út.
- max_run_duration_seconds
- int
A futtatás maximálisan engedélyezett ideje. Az Azure ML megkísérli automatikusan megszakítani a futtatásokat, ha az ennél az értéknél több időt vesz igénybe.
- framework_version
- str
A Betanítási kód végrehajtásához használandó TensorFlow-verzió.
Ha nincs megadva verzió, a becslő alapértelmezés szerint az Azure ML által támogatott legújabb verzióra kerül.
Lista TensorFlow.get_supported_versions() visszaadása az aktuális Azure ML SDK által támogatott összes verzió listájának lekéréséhez.
- compute_target
- AbstractComputeTarget vagy str
A számítási cél, ahol a betanítás történik. Ez lehet egy objektum vagy a "local" sztring.
- vm_size
- str
A betanításhoz létrehozandó számítási cél virtuálisgép-mérete. Támogatott értékek: Bármely Azure-beli virtuálisgép-méret.
- vm_priority
- str
A betanításhoz létrehozandó számítási cél virtuálisgép-prioritása. Ha nincs megadva, a rendszer a "dedicated" (dedikált) értéket használja.
Támogatott értékek: 'dedicated' és 'lowpriority'.
Ez csak akkor lép érvénybe, ha a vm_size param meg van adva a bemenetben.
- script_params
- dict
Parancssori argumentumok szótára, amely a következőben megadott tne betanítási entry_scriptszkriptnek adható át: .
- node_count
- int
A betanításhoz használt számítási cél csomópontjainak száma. Csak a AmlCompute cél támogatott az elosztott betanításhoz (node_count> 1).
- worker_count
- int
A Paraméterkiszolgáló használatakor a munkavégző csomópontok száma.
ELAVULT. Adja meg a distributed_training paraméter részeként.
- parameter_server_count
- int
Paraméterkiszolgáló használatakor a paraméterkiszolgáló csomópontjainak száma.
- distributed_backend
- str
Az elosztott betanítás kommunikációs háttérrendszere.
ELAVULT. Használja a paramétert distributed_training .
Támogatott értékek: "mpi" és "ps". Az mpi az MPI/Horovod, a "ps" pedig a paraméterkiszolgálót jelöli.
Ez a paraméter akkor szükséges, ha a , process_count_per_node, worker_countvagy parameter_server_count> 1 bármelyikenode_count.
"ps" esetén a és parameter_server_count az összege worker_count nem lehet kisebb, node_count mint * (cpu-k vagy GPU-k száma csomópontonként)
Ha node_count == 1 és process_count_per_node == 1, a rendszer csak akkor használ háttérrendszert, ha a háttérrendszer kifejezetten be van állítva. Elosztott betanítás esetén csak a AmlCompute cél támogatott.
az elosztott betanításhoz támogatott.
- distributed_training
- ParameterServer vagy Mpi
Elosztott betanítási feladat futtatásának paraméterei.
Ha elosztott feladatot szeretne futtatni a paraméterkiszolgáló háttérrendszerével, használja ParameterServer az objektumot a és parameter_server_counta megadásáhozworker_count.
A és a parameter_server_count paraméterek összege worker_count nem lehet kisebb, node_count mint * (a cpu-k vagy GPU-k száma csomópontonként).
Elosztott feladat MPI-háttérrendszerrel való futtatásához használja Mpi az objektumot a beállításhoz process_count_per_node.
- use_gpu
- bool
Meghatározza, hogy a kísérlet futtatásához használandó környezet támogassa-e a GPU-kat.
Ha igaz, a rendszer gpu-alapú alapértelmezett Docker-rendszerképet használ a környezetben. Ha hamis, a rendszer cpu-alapú rendszerképet használ. Az alapértelmezett Docker-rendszerképek (CPU vagy GPU) csak akkor lesznek használatban, ha custom_docker_image a paraméter nincs beállítva. Ez a beállítás csak a Docker-kompatibilis számítási célokban használatos.
- use_docker
- bool
Meghatározza, hogy a kísérlet futtatásához használandó környezetnek Docker-alapúnak kell-e lennie.
- custom_docker_base_image
- str
Annak a Docker-rendszerképnek a neve, amelyből a betanításhoz használni kívánt rendszerkép létrejön.
ELAVULT. Használja a paramétert custom_docker_image .
Ha nincs beállítva, a rendszer egy alapértelmezett CPU-alapú rendszerképet használ alapként.
- custom_docker_image
- str
Annak a Docker-rendszerképnek a neve, amelyből a betanításhoz használni kívánt rendszerkép létrejön. Ha nincs beállítva, a rendszer egy alapértelmezett CPU-alapú rendszerképet használ alapként.
- user_managed
- bool
Meghatározza, hogy az Azure ML újra felhasználja-e a meglévő Python-környezetet. Ha hamis, az Azure ML létrehoz egy Python-környezetet a conda függőségek specifikációja alapján.
- conda_packages
- list
A kísérlet Python-környezetéhez hozzáadandó Conda-csomagokat jelölő sztringek listája.
- pip_packages
- list
A kísérlet Python-környezetéhez hozzáadandó pip-csomagokat képviselő sztringek listája.
- conda_dependencies_file_path
- str
A conda dependencies yaml fájl relatív elérési útja. Ha meg van adva, az Azure ML nem telepít keretrendszerhez kapcsolódó csomagokat.
ELAVULT. Használja a paramétert conda_dependencies_file .
- pip_requirements_file_path
- str
A pip-követelmények szövegfájljának relatív elérési útja.
Ez a paraméterrel pip_packages együtt adható meg.
ELAVULT. Használja a paramétert pip_requirements_file .
- environment_variables
- dict
Környezeti változók neveinek és értékeinek szótára. Ezek a környezeti változók a felhasználói szkript végrehajtásának folyamatán vannak beállítva.
- conda_dependencies_file
- str
A conda dependencies yaml fájl relatív elérési útját jelölő sztring. Ha meg van adva, az Azure ML nem telepít keretrendszerhez kapcsolódó csomagokat.
- pip_requirements_file
- str
A pip-követelmények szövegfájljának relatív elérési útja.
Ez a paraméterrel pip_packages együtt adható meg.
- environment_variables
Környezeti változók neveinek és értékeinek szótára. Ezek a környezeti változók a felhasználói szkript végrehajtásának folyamatán vannak beállítva.
- environment_definition
- Environment
A kísérlet környezetdefiníciója. Ide tartoznak a PythonSection, a DockerSection és a környezeti változók. Ezzel a paraméterrel bármely olyan környezeti beállítás beállítható, amely nem érhető el közvetlenül a Becslő szerkezet más paraméterein keresztül. Ha ez a paraméter meg van adva, elsőbbséget élvez más környezettel kapcsolatos paraméterekkel, például use_gpu, custom_docker_image, conda_packagesvagy pip_packages.
Ezek az érvénytelen kombinációk hibákat fognak jelenteni.
- inputs
- list
A azureml.data.data_reference listája. Bemenetként használandó DataReference-objektumok.
- shm_size
A Docker-tároló megosztott memóriablokkjának mérete. Ha nincs beállítva, az alapértelmezett érték azureml.core.environment._DEFAULT_SHM_SIZE. További információkért lásd:
- framework_version
- str
A Betanítási kód végrehajtásához használandó TensorFlow-verzió. Ha nincs megadva verzió, a becslő alapértelmezés szerint az Azure ML által támogatott legújabb verzióra kerül. A TensorFlow.get_supported_versions() használatával listát ad vissza az aktuális Azure ML SDK által támogatott összes verzió listájának lekéréséhez.
- _enable_optimized_mode
- bool
A környezet gyorsabb előkészítéséhez engedélyezze a növekményes környezet összeállítását előre elkészített keretrendszerrendszerképekkel. Egy előre elkészített keretrendszerrendszerkép az Azure ML alapértelmezett CPU-/GPU-alaprendszerképeire épül, és előre telepítve vannak a keretrendszer függőségei.
- _disable_validation
- bool
A futtatás elküldése előtt tiltsa le a szkript érvényesítését. Az alapértelmezett érték az Igaz.
- _show_lint_warnings
- bool
Parancsprogram-linting figyelmeztetések megjelenítése. Az alapértelmezett érték a Hamis.
- _show_package_warnings
- bool
Csomagérvényesítési figyelmeztetések megjelenítése. Az alapértelmezett érték a Hamis.
Megjegyzések
Betanítási feladat elküldésekor az Azure ML conda környezetben futtatja a szkriptet egy Docker-tárolóban. A TensorFlow-tárolókra az alábbi függőségek vannak telepítve.
Függőségek | TensorFlow 1.10/1.12 | TensorFlow 1.13 | TF 2.0/2.1/2.2 | ———————————— | ——————– | ————— | —————— | Python | 3.6.2. 3.6.2. 3.6.2. CUDA (csak GPU-rendszerkép) | 9.0 | 10.0 | 10.0 | cuDNN (csak GPU-rendszerkép) | 7.6.3. 7.6.3. 7.6.3. NCCL (csak GPU-rendszerkép) | 2.4.8. 2.4.8. 2.4.8. azureml-defaults | Legutóbbi | Legutóbbi | Legutóbbi | azureml-dataset-runtime[fuse,pandas] | Legutóbbi | Legutóbbi | Legutóbbi | IntelMpi | 2018.3.222. | 2018.3.222. | —- | OpenMpi | —- | —- | 3.1.2. horovod | 0.15.2. 0.16.1. 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11. 4.5.11. 4.5.11. tensorflow | 1.10.0/1.12.0 | 1.13.1. 2.0.0/2.1.0/2.2.0 | git | 2.7.4. 2.7.4. 2.7.4.
A v1 Docker-rendszerképek kibővítik az Ubuntu 16.04-et. A v2 Docker-rendszerképek kiterjesztik az Ubuntu 18.04-et.
További függőségek telepítéséhez használhatja a vagy conda_packages a pip_packages paramétert. Vagy megadhatja a vagy conda_dependencies_file paramétertpip_requirements_file.
Másik lehetőségként létrehozhatja saját rendszerképét, és átadhatja a custom_docker_image paramétert a becslő konstruktornak.
A TensorFlow betanításában használt Docker-tárolókkal kapcsolatos további információkért lásd: https://github.com/Azure/AzureML-Containers.
A TensorFlow osztály két elosztott betanítási módszert támogat:
MPI-alapú elosztott betanítás a
Natív elosztott TensorFlow
Példák és további információk a TensorFlow elosztott betanításban való használatáról: TensorFlow-modellek nagy léptékű betanítása és regisztrálása az Azure Machine Learning használatával.
Attribútumok
DEFAULT_VERSION
DEFAULT_VERSION = '1.13'FRAMEWORK_NAME
FRAMEWORK_NAME = 'TensorFlow'Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: