Estimator Classe

Representa um avaliador genérico para preparar dados com qualquer arquitetura fornecida.

PRETERIDO. Utilize o objeto com o ScriptRunConfig seu próprio ambiente definido ou um ambiente organizado pelo Azure ML. Para obter uma introdução à configuração de execuções de experimentação com ScriptRunConfig, veja Configurar e submeter execuções de preparação.

Esta classe foi concebida para utilização com arquiteturas de machine learning que ainda não têm um avaliador pré-configurado do Azure Machine Learning. Existem estimativas pré-configuradas para Chainer, , TensorFlowPyTorche SKLearn. Para criar um Avaliador que não esteja pré-configurado, veja Preparar modelos com o Azure Machine Learning com o avaliador.

A classe Estimator molda as informações de configuração de execução para ajudar a simplificar as tarefas de especificar a forma como um script é executado. Suporta a execução de nó único, bem como de vários nós. Executar o avaliador produz um modelo no diretório de saída especificado no script de preparação.

Inicialize o avaliador.

azureml.core.environment._DEFAULT_SHM_SIZE é utilizada. Para obter mais informações, veja Docker run reference (Referência de execução do Docker). :type shm_size: str :p aram resume_from: o caminho de dados que contém o ponto de verificação ou os ficheiros de modelo a partir dos quais pretende retomar a experimentação. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: O tempo máximo permitido para a execução. O Azure ML tentará automaticamente

cancele a execução se demorar mais tempo do que este valor.

Herança
azureml.train.estimator._mml_base_estimator.MMLBaseEstimator
Estimator

Construtor

Estimator(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parâmetros

Name Description
source_directory
Necessário
str

Um diretório local que contém a configuração da experimentação e os ficheiros de código necessários para uma tarefa de preparação.

compute_target
Necessário

O destino de computação onde a preparação irá ocorrer. Pode ser um objeto ou a cadeia "local".

vm_size
Necessário
str

O tamanho da VM do destino de computação que será criado para a preparação. Valores suportados: qualquer tamanho de VM do Azure.

vm_priority
Necessário
str

A prioridade da VM do destino de computação que será criado para a preparação. Se não for especificado, será utilizado "dedicado".

Valores suportados: "dedicado" e "lowpriority".

Esta ação só entra em vigor quando o vm_size parâmetro é especificado na entrada.

entry_script
Necessário
str

O caminho relativo para o ficheiro utilizado para iniciar a preparação.

script_params
Necessário

Um dicionário de argumentos da linha de comandos para passar para o script de preparação especificado em entry_script.

node_count
Necessário
int

O número de nós no destino de computação utilizado para a preparação. Se for superior a 1, será executada uma tarefa distribuída por MPI.

process_count_per_node
Necessário
int

O número de processos (ou "trabalhos") a executar em cada nó. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas o AmlCompute destino é suportado para tarefas distribuídas.

distributed_backend
Necessário
str

O back-end de comunicação para preparação distribuída.

PRETERIDO. Utilize o distributed_training parâmetro .

Valores suportados: "mpi". "mpi" representa MPI/Horovod.

Este parâmetro é necessário quando node_count ou process_count_per_node> 1.

Quando node_count == 1 e process_count_per_node == 1, não será utilizado nenhum back-end, a menos que o back-end esteja explicitamente definido. Apenas o AmlCompute destino é suportado para preparação distribuída.

distributed_training
Necessário
Mpi

Parâmetros para executar uma tarefa de preparação distribuída.

Para executar uma tarefa distribuída com o back-end MPI, utilize o Mpi objeto para especificar process_count_per_node.

use_gpu
Necessário

Indica se o ambiente para executar a experimentação deve suportar GPUs. Se for verdadeiro, será utilizada uma imagem predefinida do Docker baseada em GPU no ambiente. Se for falso, será utilizada uma imagem baseada na CPU. As imagens predefinidas do Docker (CPU ou GPU) só serão utilizadas se o custom_docker_image parâmetro não estiver definido. Esta definição é utilizada apenas em destinos de computação ativados pelo Docker.

use_docker
Necessário

Especifica se o ambiente para executar a experimentação deve ser baseado no Docker.

custom_docker_base_image
Necessário
str

O nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação.

PRETERIDO. Utilize o custom_docker_image parâmetro .

Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base.

custom_docker_image
Necessário
str

O nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação. Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base. Especifique apenas as imagens disponíveis nos repositórios públicos do Docker (Docker Hub). Para utilizar uma imagem de um repositório privado do Docker, utilize antes o parâmetro do environment_definition construtor.

image_registry_details
Necessário

Os detalhes do registo de imagens do Docker.

user_managed
Necessário

Especifica se o Azure ML reutiliza um ambiente Python existente. Se for falso, é criado um ambiente Python com base na especificação de dependências conda.

conda_packages
Necessário

Uma lista de cadeias que representam pacotes conda a serem adicionados ao ambiente Python para a experimentação.

pip_packages
Necessário

Uma lista de cadeias que representam pacotes pip a serem adicionados ao ambiente Python para a experimentação.

conda_dependencies_file_path
Necessário
str

O caminho relativo para o ficheiro yaml de dependências conda. Se for especificado, o Azure ML não instalará quaisquer pacotes relacionados com a arquitetura.

PRETERIDO. Utilize o conda_dependencies_file paramentador.

Especifique ou conda_dependencies_file_pathconda_dependencies_file. Se ambos forem especificados, conda_dependencies_file será utilizado.

pip_requirements_file_path
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip.

PRETERIDO. Utilize o pip_requirements_file parâmetro .

Este parâmetro pode ser especificado em combinação com o pip_packages parâmetro . Especifique ou pip_requirements_file_pathpip_requirements_file. Se ambos forem especificados, pip_requirements_file será utilizado.

conda_dependencies_file
Necessário
str

O caminho relativo para o ficheiro yaml de dependências conda. Se for especificado, o Azure ML não instalará quaisquer pacotes relacionados com a arquitetura.

pip_requirements_file
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip. Este parâmetro pode ser especificado em combinação com o pip_packages parâmetro .

environment_variables
Necessário

Um dicionário de nomes e valores de variáveis de ambiente. Estas variáveis de ambiente são definidas no processo em que o script de utilizador está a ser executado.

environment_definition
Necessário

A definição de ambiente para a experimentação. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros para a construção do Avaliador pode ser definida com este parâmetro. Se este parâmetro for especificado, terá precedência sobre outros parâmetros relacionados com o ambiente, como use_gpu, custom_docker_image, conda_packagesou pip_packages. Os erros serão comunicados em combinações inválidas.

inputs
Necessário

Uma lista de DataReference objetos ou DatasetConsumptionConfig para utilizar como entrada.

source_directory_data_store
Necessário

O arquivo de dados de cópia de segurança da partilha do projeto.

shm_size
Necessário
str

O tamanho do bloco de memória partilhado do contentor do Docker. Se não estiver definido, é utilizada a azureml.core.environment._DEFAULT_SHM_SIZE predefinida. Para obter mais informações, veja Referência de execução do Docker.

resume_from
Necessário

O caminho de dados que contém o ponto de verificação ou os ficheiros de modelo a partir dos quais pretende retomar a experimentação.

max_run_duration_seconds
Necessário
int

O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais tempo do que este valor.

source_directory
Necessário
str

Um diretório local que contém a configuração da experimentação e os ficheiros de código necessários para uma tarefa de preparação.

compute_target
Necessário

O destino de computação onde a preparação vai acontecer. Pode ser um objeto ou a cadeia "local".

vm_size
Necessário
str

O tamanho da VM do destino de computação que será criado para a preparação. Valores suportados: qualquer tamanho de VM do Azure.

vm_priority
Necessário
str

A prioridade da VM do destino de computação que será criado para a preparação. Se não for especificado, é utilizado "dedicado".

Valores suportados: "dedicado" e "lowpriority".

Isto só entra em vigor quando o vm_size parâmetro é especificado na entrada.

entry_script
Necessário
str

O caminho relativo para o ficheiro utilizado para iniciar a preparação.

script_params
Necessário

Um dicionário de argumentos da linha de comandos para passar para o script de preparação especificado em entry_script.

node_count
Necessário
int

O número de nós no destino de computação utilizado para a preparação. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas o AmlCompute destino é suportado para tarefas distribuídas.

process_count_per_node
Necessário
int

O número de processos por nó. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas o AmlCompute destino é suportado para tarefas distribuídas.

distributed_backend
Necessário
str

O back-end de comunicação para formação distribuída.

PRETERIDO. Utilize o distributed_training parâmetro .

Valores suportados: "mpi". "mpi" representa MPI/Horovod.

Este parâmetro é necessário quando node_count ou process_count_per_node> 1.

Quando node_count == 1 e process_count_per_node == 1, não será utilizado nenhum back-end, a menos que o back-end esteja explicitamente definido. Apenas o AmlCompute destino é suportado para preparação distribuída.

distributed_training
Necessário
Mpi

Parâmetros para executar uma tarefa de preparação distribuída.

Para executar uma tarefa distribuída com back-end MPI, utilize Mpi o objeto para especificar process_count_per_node.

use_gpu
Necessário

Especifica se o ambiente para executar a experimentação deve suportar GPUs. Se for verdade, será utilizada uma imagem predefinida do Docker baseada em GPU no ambiente. Se for falso, será utilizada uma imagem baseada na CPU. As imagens predefinidas do Docker (CPU ou GPU) só serão utilizadas se o custom_docker_image parâmetro não estiver definido. Esta definição é utilizada apenas em destinos de computação ativados pelo Docker.

use_docker
Necessário

Especifica se o ambiente para executar a experimentação deve ser baseado no Docker.

custom_docker_base_image
Necessário
str

Será criado o nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação.

PRETERIDO. Utilize o custom_docker_image parâmetro .

Se não estiver definida, será utilizada uma imagem baseada na CPU predefinida como imagem base.

custom_docker_image
Necessário
str

Será criado o nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação. Se não estiver definida, será utilizada uma imagem baseada na CPU predefinida como imagem base. Especifique apenas as imagens disponíveis nos repositórios públicos do Docker (Docker Hub). Para utilizar uma imagem de um repositório de docker privado, utilize o parâmetro do environment_definition construtor.

image_registry_details
Necessário

Os detalhes do registo de imagens do Docker.

user_managed
Necessário

Especifica se o Azure ML reutiliza um ambiente Python existente. Se for falso, é criado um ambiente Python com base na especificação de dependências conda.

conda_packages
Necessário

Uma lista de cadeias que representam pacotes conda a serem adicionados ao ambiente python para a experimentação.

pip_packages
Necessário

Uma lista de cadeias que representam pacotes pip a serem adicionados ao ambiente python para a experimentação.

conda_dependencies_file_path
Necessário

O caminho relativo para o ficheiro yaml de dependências de conda. Se especificado, o Azure ML não instalará pacotes relacionados com a arquitetura.

PRETERIDO. Utilize o conda_dependencies_file paramenter.

Especifique ou conda_dependencies_file_pathconda_dependencies_file. Se ambos forem especificados, conda_dependencies_file é utilizado.

pip_requirements_file_path
Necessário

O caminho relativo para o ficheiro de texto dos requisitos do pip.

PRETERIDO. Utilize o pip_requirements_file parâmetro .

Isto pode ser fornecido em combinação com o pip_packages parâmetro. Especifique ou pip_requirements_file_pathpip_requirements_file. Se ambos forem especificados, pip_requirements_file é utilizado.

pip_requirements_file
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro.

environment_variables
Necessário

Um dicionário de nomes e valores de variáveis de ambiente. Estas variáveis de ambiente são definidas no processo em que o script de utilizador está a ser executado.

environment_definition
Necessário

A definição de ambiente para a experimentação. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros para a construção do Avaliador pode ser definida com este parâmetro. Se este parâmetro for especificado, terá precedência sobre outros parâmetros relacionados com o ambiente, como use_gpu, custom_docker_image, conda_packagesou pip_packages. Os erros serão comunicados em combinações inválidas.

inputs
Necessário

Uma lista de DataReference objetos ou DatasetConsumptionConfig para utilizar como entrada.

source_directory_data_store
Necessário

O arquivo de dados de cópia de segurança da partilha do projeto.

shm_size
Necessário

O tamanho do bloco de memória partilhado do contentor do Docker. Se não estiver definido, a predefinição

_disable_validation
Necessário

Desative a validação do script antes de executar a submissão. A predefinição é Verdadeiro.

_show_lint_warnings
Necessário

Mostrar avisos de linting de script. A predefinição é Falso.

_show_package_warnings
Necessário

Mostrar avisos de validação de pacotes. A predefinição é Falso.