MpiStep Classe

Crée une étape de pipeline Azure Machine Learning pour exécuter une tâche MPI.

Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.

Créez une étape de pipeline Azure ML pour exécuter un travail MPI.

DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultez Comment exécuter un entraînement distribué dans des pipelines avec CommandStep.

Héritage

PythonScriptStep

MpiStep

Constructeur

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Paramètres

Nom	Description
name	str [Obligatoire] Nom du module. valeur par défaut: None
source_directory	str [Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape. valeur par défaut: None
script_name	str [Obligatoire] Nom d’un script Python relatif à source_directory. valeur par défaut: None
arguments	list [Obligatoire] Liste des arguments de ligne de commande. valeur par défaut: None
compute_target	AmlCompute, str [Obligatoire] Cible de calcul à utiliser. valeur par défaut: None
node_count	int [Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’apprentissage. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. valeur par défaut: None
process_count_per_node	int [Obligatoire] Nombre de processus par nœud. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. valeur par défaut: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]] Liste des liaisons de port d’entrée. valeur par défaut: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Liste des liaisons de port de sortie. valeur par défaut: None
params Obligatoire	dict Dictionnaire des paires nom-valeur inscrites en tant que variables d’environnement avec « AML_PARAMETER_ ».
allow_reuse	bool Indique si l’étape doit réutiliser les résultats précédents lorsqu’elle est exécutée avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes. valeur par défaut: True
version	str Balise de version facultative pour indiquer une modification de fonctionnalité pour le module. valeur par défaut: None
hash_paths	list DÉPRÉCIÉ : n’est plus nécessaire. Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de source_directory est haché (à l’exception des fichiers répertoriés dans .amlignore ou .gitignore). valeur par défaut: None
use_gpu Obligatoire	bool Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU. Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.
use_docker Obligatoire	bool Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker.
custom_docker_image Obligatoire	str Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.
image_registry_details Obligatoire	ContainerRegistry Détails du registre de l’image Docker.
user_managed Obligatoire	bool Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda.
conda_packages Obligatoire	list Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python.
pip_packages Obligatoire	list Liste des chaînes représentant les packages pip à ajouter à l’environnement Python.
pip_requirements_file_path Obligatoire	str Chemin d’accès relatif au fichier texte des spécifications pip. Ce paramètre peut être spécifié en association avec le paramètre pip_packages.
environment_definition Obligatoire	EnvironmentDefinition EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées.
name Obligatoire	str [Obligatoire] Nom du module.
source_directory Obligatoire	str [Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape.
script_name Obligatoire	str [Obligatoire] Nom d’un script Python relatif à source_directory.
arguments Obligatoire	list [Obligatoire] Liste des arguments de ligne de commande.
compute_target Obligatoire	<xref:azureml.core.compute.AmlComputeCompute>, str [Obligatoire] Cible de calcul à utiliser.
node_count Obligatoire	int [Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
process_count_per_node Obligatoire	int [Obligatoire] Nombre de processus par nœud. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
inputs Obligatoire	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]] Liste des liaisons de port d’entrée.
outputs Obligatoire	list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]] Liste des liaisons de port de sortie.
params Obligatoire	dict Dictionnaire de paires nom-valeur inscrites en tant que variables d’environnement avec «>> AML_PARAMETER_<< ».
allow_reuse Obligatoire	bool Indique si l’étape doit réutiliser les résultats précédents lorsque la réexécutation avec les mêmes paramètres reste inchangée. La sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes.
version Obligatoire	str Balise de version facultative pour indiquer une modification des fonctionnalités du module
hash_paths Obligatoire	list DÉPRÉCIÉ : n’est plus nécessaire. Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de source_directory est haché (à l’exception des fichiers répertoriés dans .amlignore ou .gitignore).
use_gpu Obligatoire	bool Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU. Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.
use_docker Obligatoire	bool Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker. custom_docker_image (str) : nom de l’image Docker à partir de laquelle l’image à utiliser pour le travail mpi sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC sera utilisée comme image de base.
custom_docker_image Obligatoire	str Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.
image_registry_details Obligatoire	ContainerRegistry Détails du registre de l’image Docker.
user_managed Obligatoire	bool Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda.
conda_packages Obligatoire	list Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python.
pip_packages Obligatoire	list Liste des chaînes représentant les packages pip à ajouter à l’environnement Python.
pip_requirements_file_path Obligatoire	str Chemin d’accès relatif au fichier texte des spécifications pip. Ce paramètre peut être spécifié en association avec le paramètre pip_packages.
environment_definition Obligatoire	EnvironmentDefinition EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées.