Module Classe

Referência

Representa uma unidade de computação usada em um pipeline do Azure Machine Learning.

Módulo é uma coleção de arquivos que serão executados em um destino de computação e uma descrição de uma interface. A coleção de arquivos pode incluir script, binários ou quaisquer outros arquivos necessários para execução no destino de computação. A interface do módulo descreve as entradas, saídas e definições de parâmetro. Ela não os associa a valores ou dados específicos. Um módulo tem um instantâneo associado, que captura a coleção de arquivos definidos para o módulo.

Inicializar Módulo.

Herança: builtins.object

Module

Construtor

Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)

Parâmetros

workspace: Workspace

Obrigatório

O objeto de workspace ao qual este Módulo pertence.

module_id: str

Obrigatório

A ID do Módulo.

name: str

Obrigatório

O nome do Módulo.

description: str

Obrigatório

A descrição do Módulo.

status: str

Obrigatório

O novo status do Módulo: 'Ativo', 'Preterido' ou 'Desabilitado'.

default_version: str

Obrigatório

A versão padrão do Módulo.

module_version_list: list

Obrigatório

Uma lista de objetos ModuleVersionDescriptor.

_module_provider: <xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>

valor padrão: None

(Somente uso interno.) O provedor de módulos.

_module_version_provider: <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

valor padrão: None

(Somente uso interno.) O provedor ModuleVersion.

workspace: Workspace

Obrigatório

O objeto de workspace ao qual este Módulo pertence.

module_id: str

Obrigatório

A ID do Módulo.

name: str

Obrigatório

O nome do Módulo.

description: str

Obrigatório

A descrição do Módulo.

status: str

Obrigatório

O novo status do Módulo: 'Ativo', 'Preterido' ou 'Desabilitado'.

default_version: str

Obrigatório

A versão padrão do Módulo.

module_version_list: list

Obrigatório

Uma lista de objetos ModuleVersionDescriptor.

_module_provider: <xref:<xref:_AevaMlModuleProvider object>>

Obrigatório

O provedor do Módulo.

_module_version_provider: <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

Obrigatório

O provedor do ModuleVersion.

Comentários

Um Módulo atua como contêiner de suas versões. No exemplo a seguir, um ModuleVersion é criado no método publish_python_script e tem duas entradas e duas saídas. O ModuleVersion é a versão padrão (is_default está definido como True).


   out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
                           label="Sum of two numbers")
   out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
                            label="Product of two numbers")
   entry_version = module.publish_python_script("calculate.py", "initial",
                                                inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
                                                version="1", source_directory="./calc")

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Esse módulo pode ser usado ao definir um pipeline, em etapas diferentes, usando um ModuleStep.

O exemplo a seguir mostra como transferir os dados usados no pipeline para entradas e saídas de um ModuleVersion usando PipelineData:


   middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
   middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
   middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
   middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}

O mapeamento pode ser usado ao criar o ModuleStep:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

A resolução da versão do módulo a ser usada ocorre após o envio e segue este processo:

Remover todas as versões desabilitadas
Se uma versão específica foi indicada, use-a, senão
Se uma versão padrão foi definida para o Módulo, use-a, senão
Se todas as versões seguirem o controle de versão semântico sem letras, pegue o valor mais alto, senão
Pegar a versão do Módulo atualizada por último

Observe que, como o mapeamento de entradas e saídas de um nó para a entrada e saída de um módulo é definido após a criação do Pipeline, se a versão resolvida após o envio tiver uma interface diferente da que é resolvida após a criação do pipeline, o envio do pipeline falhará.

O módulo subjacente pode ser atualizado com novas versões, mantendo a mesma versão padrão.

Os módulos são nomeados exclusivamente em um workspace.

Métodos

create	Criar o Módulo.
deprecate	Definir o Módulo como 'Preterido'.
disable	Definir o Módulo como 'Desabilitado'.
enable	Definir o Módulo como 'Ativo'.
get	Obtenha o Módulo por nome ou por ID; lança uma exceção se nenhum dos dois for informado.
get_default	Obter a versão padrão do módulo.
get_default_version	Obter a versão padrão do Módulo.
get_versions	Obter todas as versões do Módulo.
module_def_builder	Crie o objeto de definição do módulo que descreve a etapa.
module_version_list	Obtenha a lista de versões do Módulo.
process_source_directory	Processe o diretório de origem da etapa e verifique se o script existe.
publish	Crie um ModuleVersion e adicione-o ao Módulo atual.
publish_adla_script	Crie um ModuleVersion com base no ADLA (Azure Data Lake Analytics) e adicione-o ao Módulo atual.
publish_azure_batch	Crie um ModuleVersion que usa o lote do Azure e adicione-o ao Módulo atual.
publish_python_script	Crie um ModuleVersion baseado em um script Python e adicione-o ao Módulo atual.
resolve	Resolva e retorne o ModuleVersion correto.
set_default_version	Defina o ModuleVersion padrão do Módulo.
set_description	Defina a descrição do Módulo.
set_name	Defina o nome do Módulo.

create

Criar o Módulo.

static create(workspace, name, description, _workflow_provider=None)

Parâmetros

workspace: Workspace

Obrigatório

O workspace em que o Módulo deve ser criado.

name: str

Obrigatório

O nome do Módulo.

description: str

Obrigatório

A descrição do Módulo.

_workflow_provider: <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

valor padrão: None

(Somente uso interno.) O provedor de fluxo de trabalho.

Retornos

Objeto do módulo

Tipo de retorno

Module

deprecate

Definir o Módulo como 'Preterido'.

deprecate()

disable

Definir o Módulo como 'Desabilitado'.

disable()

enable

Definir o Módulo como 'Ativo'.

enable()

get

Obtenha o Módulo por nome ou por ID; lança uma exceção se nenhum dos dois for informado.

static get(workspace, module_id=None, name=None, _workflow_provider=None)

Parâmetros

workspace: Workspace

Obrigatório

O workspace em que o Módulo deve ser criado.

module_id: str

valor padrão: None

A ID do Módulo.

name: str

valor padrão: None

O nome do Módulo.

_workflow_provider: <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

Obter todas as versões do Módulo.

static get_versions(workspace, name, _workflow_provider=None)

Parâmetros

workspace: Workspace

Obrigatório

O workspace em que o Módulo foi criado.

name: str

Obrigatório

O nome do Módulo.

_workflow_provider: <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

valor padrão: None

(Somente uso interno.) O provedor de fluxo de trabalho.

Retornos

A lista de ModuleVersionDescriptor

Tipo de retorno

list

module_def_builder

Crie o objeto de definição do módulo que descreve a etapa.

static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)

Parâmetros

name: str

Obrigatório

O nome do Módulo.

description: str

Obrigatório

A descrição do Módulo.

execution_type: str

Obrigatório

O tipo de execução do Módulo.

input_bindings: list

Obrigatório

As associações de entrada do Módulo.

output_bindings: list

Obrigatório

As associações de saída do Módulo.

param_defs: list

valor padrão: None

As definições de parâmetro do Módulo.

create_sequencing_ports: bool

valor padrão: True

Indica se as portas de sequenciamento serão criadas para o Módulo.

allow_reuse: bool

valor padrão: True

Indica se o Módulo estará disponível para ser reutilizado.

version: str

valor padrão: None

A versão do Módulo.

module_type: str

valor padrão: None

O tipo de Módulo.

step_type: str

valor padrão: None

Tipo de etapa associada a esse módulo, por exemplo, "PythonScriptStep", "HyperDriveStep" etc.

arguments: list

valor padrão: None

Lista de argumentos anotados a ser usada ao chamar esse módulo

runconfig: str

valor padrão: None

Runconfig que será usado para python_script_step

cloud_settings: str

valor padrão: None

Configurações que serão usadas para nuvens

Retornos

O objeto padrão do Módulo.

Tipo de retorno

ModuleDef

Exceções

ValueError

module_version_list

Obtenha a lista de versões do Módulo.

module_version_list()

Retornos

A lista de ModuleVersionDescriptor

Tipo de retorno

list

process_source_directory

Processe o diretório de origem da etapa e verifique se o script existe.

static process_source_directory(name, source_directory, script_name)

Parâmetros

name: str

Obrigatório

O nome da etapa.

source_directory: str

Obrigatório

O diretório de origem da etapa.

script_name: str

Obrigatório

O nome do script da etapa.

Retornos

O diretório de origem e os caminhos de hash.

Tipo de retorno

str, list

Exceções

ValueError

publish

Crie um ModuleVersion e adicione-o ao Módulo atual.

publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parâmetros

description: str

Obrigatório

A descrição do Módulo.

execution_type: str

Obrigatório

O tipo de execução do Módulo. Os valores aceitáveis são esCloud, adlcloud e AzureBatchCloud

inputs: list

Obrigatório

As entradas do Módulo.

outputs: list

Obrigatório

As saídas do Módulo.

param_defs: list

valor padrão: None

As definições de parâmetro do Módulo.

create_sequencing_ports: bool

valor padrão: True

Indica se as portas de sequenciamento serão criadas para o Módulo.

version: str

valor padrão: None

A versão do Módulo.

is_default: bool

valor padrão: False

Indica se a versão publicada deve ser o padrão.

content_path: str

valor padrão: None

Tipo de retorno

ModuleVersion

Exceções

Exception

publish_adla_script

Crie um ModuleVersion com base no ADLA (Azure Data Lake Analytics) e adicione-o ao Módulo atual.

publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)

Parâmetros

script_name: str

Obrigatório

O nome de um script ADLA, relativo para source_directory.

description: str

Obrigatório

A descrição da versão do Módulo.

inputs: list

Obrigatório

As associações de entrada do Módulo.

outputs: list

Obrigatório

As associações de saída do Módulo.

params: dict

valor padrão: None

Os parâmetros ModuleVersion, como pares name-default_value.

create_sequencing_ports: bool

valor padrão: True

Indica se as portas de sequenciamento serão criadas para o Módulo.

degree_of_parallelism: int

valor padrão: None

O grau de paralelismo a ser usado para este trabalho.

priority: int

valor padrão: None

O valor da prioridade a ser usado para o trabalho atual.

runtime_version: str

valor padrão: None

A versão do runtime do mecanismo de ADLA (Azure Data Lake Analytics).

compute_target: AdlaCompute, str

valor padrão: None

A computação de ADLA que deve ser usada para esse trabalho.

version: str

valor padrão: None

A versão do módulo.

is_default: bool

valor padrão: False

Indica se a versão publicada deve ser o padrão.

source_directory: str

valor padrão: None

Tipo de retorno

ModuleVersion

publish_azure_batch

Crie um ModuleVersion que usa o lote do Azure e adicione-o ao Módulo atual.

publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)

Parâmetros

description: str

Obrigatório

A descrição da versão do Módulo.

compute_target: BatchCompute ou str

Obrigatório

O destino de computação do BatchCompute.

inputs: list

Obrigatório

As associações de entrada do Módulo.

outputs: list

Obrigatório

As associações de saída do Módulo.

params: dict

valor padrão: None

Os parâmetros ModuleVersion, como pares name-default_value.

create_sequencing_ports: bool

valor padrão: True

Indica se as portas de sequenciamento serão criadas para o Módulo.

version: str

valor padrão: None

A versão do Módulo.

is_default: bool

valor padrão: False

Indica se a versão publicada deve ser o padrão.

create_pool: bool

valor padrão: False

Indica se o pool deve ou não ser criado antes da execução do trabalho.

pool_id: str

valor padrão: None

(Obrigatório) A ID do pool em que o trabalho será executado.

delete_batch_job_after_finish: bool

valor padrão: False

Indica se o trabalho deve ser excluído da conta do Lote depois de concluído.

delete_batch_pool_after_finish: bool

valor padrão: False

Indica se o pool deve ser excluído após a conclusão do trabalho.

is_positive_exit_code_failure: bool

valor padrão: True

Indica se o trabalho falhará caso a tarefa exista com um código positivo.

vm_image_urn: str

valor padrão: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter

Se create_pool for True e a VM usar VirtualMachineConfiguration, esse parâmetro indicará a imagem da VM a ser usada. Formato do valor: urn:publisher:offer:sku. Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

run_task_as_admin: bool

valor padrão: False

Indica se a tarefa deve ser executada com privilégios de Administrador.

target_compute_nodes: int

valor padrão: 1

Se create_pool for True, indica quantos nós de computação serão adicionados ao pool.

vm_size: str

valor padrão: standard_d1_v2

Se create_pool for True, indica o tamanho da máquina virtual dos nós de computação.

executable: str

valor padrão: None

O nome do comando/executável que será executado como parte do trabalho.

source_directory: str

valor padrão: None

O diretório de origem.

category: str

valor padrão: None

A categoria da versão do módulo

arguments: list

valor padrão: None

Tipo de retorno

ModuleVersion

Exceções

ValueError

publish_python_script

Crie um ModuleVersion baseado em um script Python e adicione-o ao Módulo atual.

publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parâmetros

script_name: str

Obrigatório

O nome do script Python, relativo para source_directory.

description: str

Obrigatório

A descrição da versão do Módulo.

inputs: list

Obrigatório

As associações de entrada do Módulo.

outputs: list

Obrigatório

As associações de saída do Módulo.

params: dict

valor padrão: None

Os parâmetros ModuleVersion, como pares name-default_value.

create_sequencing_ports: bool

valor padrão: True

Indica se as portas de sequenciamento serão criadas para o Módulo.

version: str

valor padrão: None

A versão do Módulo.

is_default: bool

valor padrão: False

Indica se a versão publicada deve ser o padrão.

source_directory: str

valor padrão: None

Tipo de retorno

ModuleVersion

resolve

Resolva e retorne o ModuleVersion correto.

resolve(version=None)

Parâmetros

version

valor padrão: None

Retornos

A versão do módulo a ser usada.

Tipo de retorno

ModuleVersion

set_default_version

Defina o ModuleVersion padrão do Módulo.

set_default_version(version_id)

Parâmetros

version_id

Obrigatório

Retornos

A versão padrão.

Tipo de retorno

str

Exceções

Exception

set_description

Defina a descrição do Módulo.

set_description(description)

Parâmetros

description: str

Obrigatório

A descrição a ser definida.

Exceções

Exception

set_name

Defina o nome do Módulo.

set_name(name)

Parâmetros

name: str

Obrigatório

O nome a ser definido.

Exceções

Exception

str