Pipeline Classe

Representa uma coleção de passos que podem ser executados como um fluxo de trabalho reutilizável de aprendizagem automática Azure.

Utilize um Pipeline para criar e gerir fluxos de trabalho que cosam várias fases de aprendizagem automática. Cada fase de aprendizagem automática, como a preparação de dados e a formação de modelos, pode consistir em um ou mais passos num Pipeline.

Para uma visão geral do porquê e quando usar Pipelines, consulte https://aka.ms/pl-concept .

Para uma visão geral sobre a construção de um oleoduto, https://aka.ms/pl-first-pipeline consulte.

Herança
builtins.object
Pipeline

Construtor

Pipeline(workspace, steps, description=None, default_datastore=None, default_source_directory=None, resolve_closure=True, _workflow_provider=None, _service_endpoint=None, **kwargs)

Parâmetros

workspace
Workspace

O espaço de trabalho para submeter o Pipeline.

steps
list

A lista de passos a executar como parte de um oleoduto.

description
<xref:str>

A descrição do Oleoduto.

default_datastore
AbstractAzureStorageDatastore ou AzureDataLakeDatastore

A loja de dados predefinido a utilizar para ligações de dados.

default_source_directory
<xref:str>

O diretório de scripts predefinido para etapas que executam um script.

resolve_closure
<xref:bool>

Quer resolva o encerramento ou não (introduza automaticamente passos dependentes).

Observações

Um oleoduto é criado com uma lista de passos e um espaço de trabalho. Há uma série de tipos de passos que podem ser usados num oleoduto. Irá selecionar o tipo de passo com base no seu cenário de aprendizagem automática.

  • Os pipelines de aprendizagem de máquinas Azure fornecem passos incorporados para cenários comuns. Os passos pré-construídos derivados do PipelineStep são passos que são usados num oleoduto. Por exemplo, consulte o steps pacote e a AutoMLStep classe.

  • Se o seu fluxo de trabalho de machine learning de utilização requer a criação de passos que podem ser versados e utilizados em diferentes oleodutos, utilize a funcionalidade no Module módulo.

Envie um gasoduto utilizando submit . Quando a submissão é chamada, é criada uma PipelineRun criação de StepRun objetos para cada passo no fluxo de trabalho. Utilize estes objetos para monitorizar a execução da execução.

Um exemplo para submeter um Pipeline é o seguinte:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline)

Existem várias definições opcionais para um Pipeline que podem ser especificadas na apresentação no submit .

  • continue_on_step_failure: Se continuar a execução do gasoduto se um passo falhar; o padrão é falso. Se for verdade, apenas os passos que não têm dependência da saída do passo falhado continuarão a ser executados.

  • regenerate_outputs: Se forçar a regeneração de todas as saídas de etapas e proibir a reutilização de dados para esta execução, o padrão é falso.

  • pipeline_parameters: Parâmetros para a execução do gasoduto, dicionário de {nome: valor}. Veja PipelineParameter mais detalhes.

  • parent_run_id: Você pode fornecer um id de execução para definir o funcionaamento dos pais deste curso de gasoduto, que é refletido no RunHistory. A corrida dos pais deve pertencer à mesma experiência a que este oleoduto está a ser submetido.

Um exemplo para submeter um Pipeline usando estas definições é o seguinte:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline,
                                    continue_on_step_failure=True,
                                    regenerate_outputs=True,
                                    pipeline_parameters={"param1": "value1"},
                                    parent_run_id="<run_id>")

Métodos

load_yaml

Carregue um Pipeline a partir do ficheiro YAML especificado.

Um ficheiro YAML pode ser usado para descrever um Pipeline composto por ModuleSteps.

publish

Publique um oleoduto e disponibilize-o para reensar.

Uma vez publicado um Pipeline, pode ser submetido sem o código Python que construiu o Pipeline. Devolve o PublishedPipeline criado.

service_endpoint

Obtenha o ponto final de serviço associado ao gasoduto.

submit

Envie uma corrida de oleoduto. Isto equivale a submit usar.

Devolve o PipelineRun submetido. Utilize este objeto para monitorizar e visualizar os detalhes da execução.

validate

Valide um pipeline e identifique potenciais erros, tais como entradas não ligadas.

load_yaml

Carregue um Pipeline a partir do ficheiro YAML especificado.

Um ficheiro YAML pode ser usado para descrever um Pipeline composto por ModuleSteps.

load_yaml(workspace, filename, _workflow_provider=None, _service_endpoint=None)

Parâmetros

workspace
Workspace

O espaço de trabalho para submeter o Pipeline.

filename
<xref:str>

O ficheiro YAML que descreve o Pipeline.

_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
valor predefinido: None

O provedor de fluxo de trabalho.

_service_endpoint
<xref:str>
valor predefinido: None

O ponto final de serviço, se Nenhum, é determinado utilizando o espaço de trabalho.

Devoluções

O oleoduto construído.

Tipo de retorno

Observações

Veja abaixo um ficheiro YAML por exemplo. O YAML contém um nome, default_compute e listas de parâmetros, referências de dados e passos para o Pipeline. Cada passo deve especificar o módulo, o cálculo e o parâmetro, a entrada e as ligações de saída. Além disso, um passo runconfig e argumentos podem ser especificados se necessário.

Ficheiro Yaml da amostra:


   pipeline:
       description: SamplePipelineFromYaml
       parameters:
           NumIterationsParameter:
               type: int
               default: 40
           DataPathParameter:
               type: datapath
               default:
                   datastore: workspaceblobstore
                   path_on_datastore: sample2.txt
           NodeCountParameter:
               type: int
               default: 4
       data_references:
           DataReference:
               datastore: workspaceblobstore
               path_on_datastore: testfolder/sample.txt
           Dataset:
               dataset_name: 'titanic'
       default_compute: aml-compute
       steps:
           PrepareStep:
               type:  ModuleStep
               name: "TestModule"
               compute: aml-compute2
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input1'
               -input:in1
               -'--input2'
               -input:in2
               -'--input3'
               -input:in3
               -'--output'
               -output:output_data
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS:
                       source: NumIterationsParameter
               inputs:
                   in1:
                       source: Dataset
                       bind_mode: mount
                   in2:
                       source: DataReference
                   in3:
                       source: DataPathParameter
               outputs:
                   output_data:
                       destination: Output1
                       datastore: workspaceblobstore
                       bind_mode: mount
           TrainStep:
               type: ModuleStep
               name: "TestModule2"
               version: "2"
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input'
               -input:train_input
               -'--output'
               -output:result
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS: 10
               runconfig_parameters:
                   NodeCount:
                       source: NodeCountParameter
               inputs:
                   train_input:
                       source: Output1
                       bind_mode: mount
               outputs:
                   result:
                       destination: Output2
                       datastore: workspaceblobstore
                       bind_mode: mount

publish

Publique um oleoduto e disponibilize-o para reensar.

Uma vez publicado um Pipeline, pode ser submetido sem o código Python que construiu o Pipeline. Devolve o PublishedPipeline criado.

publish(name=None, description=None, version=None, continue_on_step_failure=None)

Parâmetros

name
<xref:str>
valor predefinido: None

O nome do oleoduto publicado.

description
<xref:str>
valor predefinido: None

A descrição do oleoduto publicado.

version
<xref:str>
valor predefinido: None

A versão do oleoduto publicado.

continue_on_step_failure
<xref:bool>
valor predefinido: None

Indica se deve continuar a execução de outras etapas no PipelineRun se um passo falhar; o padrão é falso. Se for verdade, apenas os passos que não têm dependência da saída do passo falhado continuarão a ser executados.

Devoluções

Criado oleoduto publicado.

Tipo de retorno

service_endpoint

Obtenha o ponto final de serviço associado ao gasoduto.

service_endpoint()

Devoluções

O ponto final de serviço.

Tipo de retorno

<xref:str>

submit

Envie uma corrida de oleoduto. Isto equivale a submit usar.

Devolve o PipelineRun submetido. Utilize este objeto para monitorizar e visualizar os detalhes da execução.

submit(experiment_name, pipeline_parameters=None, continue_on_step_failure=False, regenerate_outputs=False, parent_run_id=None, **kwargs)

Parâmetros

experiment_name
<xref:str>

O nome da experiência para enviar o oleoduto.

pipeline_parameters
<xref:dict>
valor predefinido: None

Parâmetros para a execução do gasoduto, dicionário de {nome: valor}. Veja PipelineParameter mais detalhes.

continue_on_step_failure
<xref:bool>
valor predefinido: False

Indica se deve continuar a execução do gasoduto se um passo falhar. Se for verdade, apenas os passos que não têm dependência da saída do passo falhado continuarão a ser executados.

regenerate_outputs
<xref:bool>
valor predefinido: False

Indica se força a regeneração de todas as saídas de etapas e não permite a reutilização de dados para esta execução. Se for falso, esta execução pode reutilizar os resultados de execuções anteriores e as execuções subsequentes poderão reutilizar os resultados desta execução.

parent_run_id
<xref:str>
valor predefinido: None

ID de execução opcional para definir para o executar do pai deste curso de pipeline, que é refletido no RunHistory. A corrida dos pais deve pertencer à mesma experiência a que este oleoduto está a ser submetido.

Devoluções

O gasoduto submetido.

Tipo de retorno

validate

Valide um pipeline e identifique potenciais erros, tais como entradas não ligadas.

validate()

Devoluções

Uma lista de erros no oleoduto.

Tipo de retorno

Observações

Exemplos de erros de validação incluem:

  • fontes de dados de gasodutos em falta ou inesperadas ou tipos de passos

  • parâmetros em falta ou definições de saída para uma fonte de dados de gasoduto ou passo

  • entradas não ligadas

  • passos de pipeline que formam um loop ou ciclo

Se a validação passar (devolve uma lista vazia) e o seu oleoduto não funcionar, consulte os oleodutos de aprendizagem de máquinas de resolução de problemas e de resolução de problemas.

Atributos

graph

Obtenha o gráfico associado ao oleoduto. Passos e entradas de dados aparecem como nós no gráfico.

Devoluções

O gráfico.

Tipo de retorno