Pipeline Classe

Representa uma coleção de etapas que podem ser executadas como um fluxo de trabalho de Azure Machine Learning reutilizável.

Use um pipeline para criar e gerenciar fluxos de trabalho que unem várias fases de aprendizado de máquina. Cada fase de aprendizado de máquina, como preparação de dados e treinamento de modelo, pode consistir em uma ou mais etapas em um pipeline.

Para obter uma visão geral de por que e quando usar pipelines, consulte https://aka.ms/pl-concept .

Para obter uma visão geral sobre como construir um pipeline, consulte https://aka.ms/pl-first-pipeline .

Herança
builtins.object
Pipeline

Construtor

Pipeline(workspace, steps, description=None, default_datastore=None, default_source_directory=None, resolve_closure=True, _workflow_provider=None, _service_endpoint=None, **kwargs)

Parâmetros

workspace
Workspace

O espaço de trabalho no qual enviar o pipeline.

steps
list

A lista de etapas a serem executadas como parte de um pipeline.

description
str

A descrição do pipeline.

default_datastore
AbstractAzureStorageDatastore ou AzureDataLakeDatastore

O armazenamento de dados padrão a ser usado para conexões de dado.

default_source_directory
str

O diretório de script padrão para as etapas que executam um script.

resolve_closure
bool

Se deseja resolver o fechamento ou não (colocar automaticamente as etapas dependentes).

Comentários

Um pipeline é criado com uma lista de etapas e um espaço de trabalho. Há vários tipos de etapa que podem ser usados em um pipeline. Você selecionará o tipo de etapa com base no seu cenário de aprendizado de máquina.

  • Azure Machine Learning pipelines fornece etapas internas para cenários comuns. As etapas predefinidas derivadas de PipelineStep são etapas que são usadas em um pipeline. Para obter exemplos, consulte o steps pacote e a AutoMLStep classe.

  • Se você usar o fluxo de trabalho do Machine Learning para criar etapas que possam ter controle de versão e usados em pipelines diferentes, use a funcionalidade no Module módulo.

Envie um pipeline usando submit . Quando o envio é chamado, um PipelineRun é criado, o que, por sua vez, cria StepRun objetos para cada etapa no fluxo de trabalho. Use esses objetos para monitorar a execução de execução.

Um exemplo para enviar um pipeline é o seguinte:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline)

Há várias configurações opcionais para um pipeline que pode ser especificado no envio no submit .

  • continue_on_step_failure: se deseja continuar a execução do pipeline se uma etapa falhar; o padrão é false. Se for true, somente as etapas que não têm nenhuma dependência na saída da etapa com falha continuarão a execução.

  • regenerate_outputs: se a regeneração de todas as saídas de etapa deve ser forçada e não permite a reutilização de dados para essa execução, o padrão é false.

  • pipeline_parameters: parâmetros para execução de pipeline, dicionário de {Name: value}. Consulte PipelineParameter para obter mais detalhes.

  • parent_run_id: você pode fornecer uma ID de execução para definir a execução pai dessa execução de pipeline, que é refletida em RunHistory. A execução pai deve pertencer ao mesmo experimento durante o qual esse pipeline está sendo enviado para o.

Um exemplo para enviar um pipeline usando essas configurações é o seguinte:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline,
                                    continue_on_step_failure=True,
                                    regenerate_outputs=True,
                                    pipeline_parameters={"param1": "value1"},
                                    parent_run_id="<run_id>")

Métodos

load_yaml

Carregue um pipeline do arquivo YAML especificado.

Um arquivo YAML pode ser usado para descrever um pipeline que consiste em ModuleSteps.

publish

Publique um pipeline e disponibilize-o para a execução.

Depois que um pipeline é publicado, ele pode ser enviado sem o código Python que construiu o pipeline. Retorna o criado PublishedPipeline .

service_endpoint

Obtenha o ponto de extremidade de serviço associado ao pipeline.

submit

Envie uma execução de pipeline. Isso é equivalente a usar submit .

Retorna o enviado PipelineRun . Use esse objeto para monitorar e exibir detalhes da execução.

validate

Validar um pipeline e identificar possíveis erros, como entradas não conectadas.

load_yaml

Carregue um pipeline do arquivo YAML especificado.

Um arquivo YAML pode ser usado para descrever um pipeline que consiste em ModuleSteps.

load_yaml(workspace, filename, _workflow_provider=None, _service_endpoint=None)

Parâmetros

workspace
Workspace

O espaço de trabalho no qual enviar o pipeline.

filename
str

O arquivo YAML que descreve o pipeline.

_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
valor padrão: None

O provedor de fluxo de trabalho.

_service_endpoint
str
valor padrão: None

O ponto de extremidade de serviço, se nenhum, é determinado usando o espaço de trabalho.

Retornos

O pipeline construído.

Tipo de retorno

Comentários

Veja abaixo um exemplo de arquivo YAML. O YAML contém um nome, default_compute e listas de parâmetros, referências de dados e etapas para o pipeline. Cada etapa deve especificar as associações de módulo, computação e parâmetro, entrada e saída. Além disso, uma etapa runconfig e argumentos podem ser especificados, se necessário.

Arquivo YAML de exemplo:


   pipeline:
       description: SamplePipelineFromYaml
       parameters:
           NumIterationsParameter:
               type: int
               default: 40
           DataPathParameter:
               type: datapath
               default:
                   datastore: workspaceblobstore
                   path_on_datastore: sample2.txt
           NodeCountParameter:
               type: int
               default: 4
       data_references:
           DataReference:
               datastore: workspaceblobstore
               path_on_datastore: testfolder/sample.txt
           Dataset:
               dataset_name: 'titanic'
       default_compute: aml-compute
       steps:
           PrepareStep:
               type:  ModuleStep
               name: "TestModule"
               compute: aml-compute2
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input1'
               -input:in1
               -'--input2'
               -input:in2
               -'--input3'
               -input:in3
               -'--output'
               -output:output_data
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS:
                       source: NumIterationsParameter
               inputs:
                   in1:
                       source: Dataset
                       bind_mode: mount
                   in2:
                       source: DataReference
                   in3:
                       source: DataPathParameter
               outputs:
                   output_data:
                       destination: Output1
                       datastore: workspaceblobstore
                       bind_mode: mount
           TrainStep:
               type: ModuleStep
               name: "TestModule2"
               version: "2"
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input'
               -input:train_input
               -'--output'
               -output:result
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS: 10
               runconfig_parameters:
                   NodeCount:
                       source: NodeCountParameter
               inputs:
                   train_input:
                       source: Output1
                       bind_mode: mount
               outputs:
                   result:
                       destination: Output2
                       datastore: workspaceblobstore
                       bind_mode: mount

publish

Publique um pipeline e disponibilize-o para a execução.

Depois que um pipeline é publicado, ele pode ser enviado sem o código Python que construiu o pipeline. Retorna o criado PublishedPipeline .

publish(name=None, description=None, version=None, continue_on_step_failure=None)

Parâmetros

name
str
valor padrão: None

O nome do pipeline publicado.

description
str
valor padrão: None

A descrição do pipeline publicado.

version
str
valor padrão: None

A versão do pipeline publicado.

continue_on_step_failure
bool
valor padrão: None

Indica se deseja continuar a execução de outras etapas no PipelineRun se uma etapa falhar; o padrão é false. Se for true, somente as etapas que não têm nenhuma dependência na saída da etapa com falha continuarão a execução.

Retornos

Pipeline publicado criado.

Tipo de retorno

service_endpoint

Obtenha o ponto de extremidade de serviço associado ao pipeline.

service_endpoint()

Retornos

O ponto de extremidade de serviço.

Tipo de retorno

str

submit

Envie uma execução de pipeline. Isso é equivalente a usar submit .

Retorna o enviado PipelineRun . Use esse objeto para monitorar e exibir detalhes da execução.

submit(experiment_name, pipeline_parameters=None, continue_on_step_failure=False, regenerate_outputs=False, parent_run_id=None, **kwargs)

Parâmetros

experiment_name
str

O nome do experimento no qual enviar o pipeline.

pipeline_parameters
dict
valor padrão: None

Parâmetros para execução de pipeline, dicionário de {Name: value}. Consulte PipelineParameter para obter mais detalhes.

continue_on_step_failure
bool
valor padrão: False

Indica se a execução do pipeline deve ser continuada se uma etapa falhar. Se for true, somente as etapas que não têm nenhuma dependência na saída da etapa com falha continuarão a execução.

regenerate_outputs
bool
valor padrão: False

Indica se a regeneração de todas as saídas de etapa deve ser forçada e não permite a reutilização de dados para essa execução. Se for false, essa execução poderá reutilizar os resultados das execuções anteriores e as execuções posteriores poderão reutilizar os resultados dessa execução.

parent_run_id
str
valor padrão: None

ID de execução opcional a ser definida para a execução pai desta execução de pipeline, que é refletida em RunHistory. A execução pai deve pertencer ao mesmo experimento, pois esse pipeline está sendo enviado para.

Retornos

A execução do pipeline enviado.

Tipo de retorno

validate

Validar um pipeline e identificar possíveis erros, como entradas não conectadas.

validate()

Retornos

Uma lista de erros no pipeline.

Tipo de retorno

Comentários

Os exemplos de erros de validação incluem:

  • fontes de datapipeline ou tipos de etapa ausentes ou inesperados

  • parâmetros ausentes ou definições de saída para uma fonte de uma ou uma etapa do pipeline

  • entradas não conectadas

  • etapas de pipeline que formam um loop ou ciclo

Se a validação passar (retornar uma lista vazia) e o pipeline não funcionar, consulte a depuração e solucione problemas de pipelines de Machine Learning.

Atributos

graph

Obtenha o grafo associado ao pipeline. As etapas e as entradas de dados aparecem como nós no grafo.

Retornos

O gráfico.

Tipo de retorno