MpiStep Classe
Cria um passo de pipeline do Azure ML para executar uma tarefa de MPI.
Para obter um exemplo de utilização do MpiStep, consulte o bloco de notas https://aka.ms/pl-style-trans.
Crie um passo de pipeline do Azure ML para executar uma tarefa de MPI.
PRETERIDO. Em vez disso, utilize o CommandStep . Para obter um exemplo, veja Como executar a preparação distribuída em pipelines com CommandStep.
- Herança
-
MpiStep
Construtor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Parâmetros
- source_directory
- str
[Obrigatório] Uma pasta que contém script python, conda env e outros recursos utilizados no passo.
- script_name
- str
[Obrigatório] O nome de um script python relativo a source_directory.
- compute_target
- AmlCompute, str
[Obrigatório] Um destino de computação a utilizar.
- node_count
- int
[Obrigatório] O número de nós no destino de computação utilizado para a preparação. Se for superior a 1, será executada uma tarefa distribuída por mpi. Apenas o destino de computação AmlCompute é suportado para tarefas distribuídas. Os valores de PipelineParameter são suportados.
- process_count_per_node
- int
[Obrigatório] O número de processos por nó. Se for superior a 1, será executada uma tarefa distribuída por mpi. Apenas o destino de computação AmlCompute é suportado para tarefas distribuídas. Os valores de PipelineParameter são suportados.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Uma lista de enlaces de portas de entrada.
Uma lista de enlaces de portas de saída.
- params
- dict
Um dicionário de pares nome-valor registados como variáveis de ambiente com "AML_PARAMETER_".
- allow_reuse
- bool
Indica se o passo deve reutilizar os resultados anteriores ao executar novamente com as mesmas definições. A reutilização está ativada por predefinição. Se o conteúdo do passo (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, o resultado da execução anterior deste passo será reutilizado. Ao reutilizar o passo, em vez de submeter a tarefa para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer passos subsequentes. Se utilizar conjuntos de dados do Azure Machine Learning como entradas, a reutilização é determinada se a definição do conjunto de dados foi alterada e não se os dados subjacentes foram alterados.
- version
- str
Uma etiqueta de versão opcional para denotar uma alteração na funcionalidade do módulo.
- hash_paths
- list
PRETERIDO: já não é necessário.
Uma lista de caminhos para hash ao verificar se existem alterações nos conteúdos do passo. Se não forem detetadas alterações, o pipeline reutilizará o conteúdo do passo de uma execução anterior. Por predefinição, os conteúdos de source_directory são transformados em hash, à exceção dos ficheiros listados em .amlignoree ou .gitignore.
- use_gpu
- bool
Indica se o ambiente para executar a experimentação deve suportar GPUs.
Se For Verdadeiro, será utilizada uma imagem predefinida do Docker baseada em GPU no ambiente. Se For Falso, será utilizada uma imagem baseada na CPU. As imagens do Docker predefinidas (CPU ou GPU) só serão utilizadas se o custom_docker_image parâmetro não estiver definido. Esta definição é utilizada apenas em destinos de computação compatíveis com o Docker.
- use_docker
- bool
Indica se o ambiente para executar a experimentação deve ser baseado no Docker.
- custom_docker_image
- str
O nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação. Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base.
- user_managed
- bool
Indica se o Azure ML reutiliza um ambiente Python existente; Falso significa que o Azure ML criará um ambiente Python com base na especificação das dependências conda.
- conda_packages
- list
Uma lista de cadeias que representam pacotes conda a serem adicionados ao ambiente Python.
- pip_packages
- list
Uma lista de cadeias que representam pacotes pip a serem adicionados ao ambiente Python.
- pip_requirements_file_path
- str
O caminho relativo para o ficheiro de texto dos requisitos do pip.
Este parâmetro pode ser especificado em combinação com o pip_packages parâmetro .
- environment_definition
- EnvironmentDefinition
A EnvironmentDefinition para a experimentação. Inclui PythonSection e DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros para a construção MpiStep pode ser definida com environment_definition parâmetro. Se este parâmetro for especificado, terá precedência sobre outros parâmetros relacionados com o ambiente, como use_gpu, custom_docker_image, conda_packages ou pip_packages e serão comunicados erros nestas combinações inválidas.
- source_directory
- str
[Obrigatório] Uma pasta que contém script python, conda env e outros recursos utilizados no passo.
- compute_target
- <xref:azureml.core.compute.AmlComputeCompute>, str
[Obrigatório] Um destino de computação a utilizar.
- node_count
- int
[Obrigatório] Número de nós no destino de computação utilizado para a preparação. Se for superior a 1, a tarefa distribuída por mpi será executada. Apenas o destino de computação AmlCompute é suportado para tarefas distribuídas. Os valores de PipelineParameter são suportados.
- process_count_per_node
- int
[Obrigatório] Número de processos por nó. Se for superior a 1, a tarefa distribuída por mpi será executada. Apenas o destino de computação AmlCompute é suportado para tarefas distribuídas. Os valores de PipelineParameter são suportados.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Uma lista de enlaces de portas de entrada.
- outputs
- list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]
Uma lista de enlaces de portas de saída.
- params
- dict
Um dicionário de pares nome-valor registados como variáveis de ambiente com ">>AML_PARAMETER_<<".
- allow_reuse
- bool
Indica se o passo deve reutilizar os resultados anteriores quando a nova execução com os mesmos parâmetros permanece inalterada. O resultado da execução anterior deste passo é reutilizado. Ao reutilizar o passo, em vez de submeter a tarefa para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer passos subsequentes. Se utilizar conjuntos de dados do Azure Machine Learning como entradas, a reutilização é determinada se a definição do conjunto de dados foi alterada e não se os dados subjacentes foram alterados.
- version
- str
Etiqueta de versão opcional para denotar uma alteração na funcionalidade do módulo
- hash_paths
- list
PRETERIDO: já não é necessário.
Uma lista de caminhos para hash ao verificar se existem alterações nos conteúdos do passo. Se não forem detetadas alterações, o pipeline reutilizará o conteúdo do passo de uma execução anterior. Por predefinição, os conteúdos de source_directory são transformados em hash, à exceção dos ficheiros listados em .amlignoree ou .gitignore.
- use_gpu
- bool
Indica se o ambiente para executar a experimentação deve suportar GPUs.
Se For Verdadeiro, será utilizada uma imagem predefinida do Docker baseada em GPU no ambiente. Se For Falso, será utilizada uma imagem baseada na CPU. As imagens do Docker predefinidas (CPU ou GPU) só serão utilizadas se o custom_docker_image parâmetro não estiver definido. Esta definição é utilizada apenas em destinos de computação compatíveis com o Docker.
- use_docker
- bool
Indica se o ambiente para executar a experimentação deve ser baseado no Docker. custom_docker_image (str): o nome da imagem do docker a partir da qual a imagem a utilizar para a tarefa de mpi será criada. Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base.
- custom_docker_image
- str
O nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação. Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base.
- user_managed
- bool
Indica se o Azure ML reutiliza um ambiente Python existente; Falso significa que o Azure ML criará um ambiente Python com base na especificação das dependências conda.
- conda_packages
- list
Uma lista de cadeias que representam pacotes conda a serem adicionados ao ambiente Python.
- pip_packages
- list
Uma lista de cadeias que representam pacotes pip a serem adicionados ao ambiente Python.
- pip_requirements_file_path
- str
O caminho relativo para o ficheiro de texto dos requisitos do pip.
Este parâmetro pode ser especificado em combinação com o pip_packages parâmetro .
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition para a experimentação. Inclui PythonSection e DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros para a construção MpiStep pode ser definida com environment_definition parâmetro. Se este parâmetro for especificado, terá precedência sobre outros parâmetros relacionados com o ambiente, como use_gpu, custom_docker_image, conda_packages ou pip_packages e serão comunicados erros nestas combinações inválidas.
Comentários
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja: https://aka.ms/ContentUserFeedback.
Submeter e ver comentários