InferenceConfig Classe

Representa definições de configuração para um ambiente personalizado usado para implantação.

A configuração de inferência é um parâmetro de entrada para Model ações relacionadas à implantação:

Herança
builtins.object
InferenceConfig

Construtor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parâmetros

entry_script
str

O caminho para um arquivo local que contém o código a ser executado para a imagem.

runtime
str

O tempo de execução a ser usado para a imagem. Os tempos de execução com suporte atuais são ' Spark-py ' e ' Python '.

conda_file
str

O caminho para um arquivo local que contém uma definição de ambiente Conda a ser usada para a imagem.

extra_docker_file_steps
str

O caminho para um arquivo local que contém etapas adicionais do Docker para executar ao configurar a imagem.

source_directory
str

O caminho para a pasta que contém todos os arquivos para criar a imagem.

enable_gpu
bool

Indica se o suporte à GPU deve ser habilitado na imagem. A imagem GPU deve ser usada em Microsoft Azure serviços como instâncias de contêiner do Azure, computação de Azure Machine Learning, máquinas virtuais do Azure e serviço kubernetes do Azure. Usa False como padrão.

description
str

Uma descrição para fornecer esta imagem.

base_image
str

Uma imagem personalizada a ser usada como imagem base. Se nenhuma imagem base for fornecida, a imagem base será usada com base em um determinado parâmetro de tempo de execução.

base_image_registry
ContainerRegistry

O registro de imagem que contém a imagem base.

cuda_version
str

A versão do CUDA a ser instalada para imagens que precisam de suporte à GPU. A imagem GPU deve ser usada em Microsoft Azure serviços como instâncias de contêiner do Azure, computação de Azure Machine Learning, máquinas virtuais do Azure e serviço kubernetes do Azure. As versões com suporte são 9,0, 9,1 e 10,0. Se enable_gpu for definido, o padrão será ' 9,1 '.

environment
Ambiente

Um objeto de ambiente a ser usado para a implantação. O ambiente não precisa ser registrado.

Forneça esse parâmetro ou os outros parâmetros, mas não ambos. Os parâmetros individuais não funcionarão como uma substituição para o objeto de ambiente. As exceções incluem entry_script , source_directory e description .

Comentários

O exemplo a seguir mostra como criar um objeto InferenceConfig e usá-lo para implantar um modelo.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/deploy-to-cloud/model-register-and-deploy.ipynb

Variáveis

entry_script
str

O caminho para um arquivo local que contém o código a ser executado para a imagem.

runtime
str

O tempo de execução a ser usado para a imagem. Os tempos de execução com suporte atuais são ' Spark-py ' e ' Python '.

conda_file
str

O caminho para um arquivo local que contém uma definição de ambiente Conda a ser usada para a imagem.

extra_docker_file_steps
str

O caminho para um arquivo local que contém etapas adicionais do Docker para executar ao configurar a imagem.

source_directory
str

O caminho para a pasta que contém todos os arquivos para criar a imagem.

enable_gpu
bool

Indica se o suporte à GPU deve ser habilitado na imagem. A imagem GPU deve ser usada em Microsoft Azure serviços como instâncias de contêiner do Azure, computação de Azure Machine Learning, máquinas virtuais do Azure e serviço kubernetes do Azure.

azureml.core.model.InferenceConfig.description

Uma descrição para fornecer esta imagem.

base_image
str

Uma imagem personalizada a ser usada como imagem base. Se nenhuma imagem base for fornecida, a imagem base será usada com base em um determinado parâmetro de tempo de execução.

base_image_registry
ContainerRegistry

O registro de imagem que contém a imagem base.

cuda_version
str

A versão do CUDA a ser instalada para imagens que precisam de suporte à GPU. A imagem GPU deve ser usada em Microsoft Azure serviços como instâncias de contêiner do Azure, computação de Azure Machine Learning, máquinas virtuais do Azure e serviço kubernetes do Azure. As versões com suporte são 9,0, 9,1 e 10,0. Se enable_gpu for definido, o padrão será ' 9,1 '.

azureml.core.model.InferenceConfig.environment

Um objeto de ambiente a ser usado para a implantação. O ambiente não precisa ser registrado.

Forneça esse parâmetro ou os outros parâmetros, mas não ambos. Os parâmetros individuais não funcionarão como uma substituição para o objeto de ambiente. As exceções incluem entry_script , source_directory e description .

Métodos

build_create_payload

Crie a carga de criação para a imagem de contêiner.

build_profile_payload

Crie a carga de criação de perfil para o pacote de modelo.

validate_configuration

Verifique se os valores de configuração especificados são válidos.

Gera uma WebserviceException falha de validação If.

validation_script_content

Verifique se a sintaxe do script de pontuação é válida com AST. Parse.

Gera uma UserErrorException falha de validação If.

build_create_payload

Crie a carga de criação para a imagem de contêiner.

build_create_payload(workspace, name, model_ids)

Parâmetros

workspace
Workspace

O objeto de espaço de trabalho no qual criar a imagem.

name
str

O nome da imagem.

model_ids
list[str]

Uma lista de IDs de modelo para empacotar na imagem.

Retornos

A carga de criação da imagem de contêiner.

Tipo de retorno

Exceções

build_profile_payload

Crie a carga de criação de perfil para o pacote de modelo.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parâmetros

profile_name
str

O nome da execução da criação de perfil.

input_data
str
valor padrão: None

Os dados de entrada para a criação de perfil.

workspace
Workspace
valor padrão: None

Um objeto de espaço de trabalho no qual criar o perfil do modelo.

models
list[Model]
valor padrão: None

Uma lista de objetos de modelo. Pode ser uma lista vazia.

dataset_id
str
valor padrão: None

A ID associada ao conjunto de dados que contém o dado de entrada para a execução da criação de perfil.

container_resource_requirements
ContainerResourceRequirements
valor padrão: None

requisitos de recurso de contêiner para a maior instância para a qual o modelo deve ser implantado

description
str
valor padrão: None

Descrição a ser associada à execução da criação de perfil.

Retornos

Conteúdo do perfil de modelo

Tipo de retorno

Exceções

validate_configuration

Verifique se os valores de configuração especificados são válidos.

Gera uma WebserviceException falha de validação If.

validate_configuration()

Exceções

validation_script_content

Verifique se a sintaxe do script de pontuação é válida com AST. Parse.

Gera uma UserErrorException falha de validação If.

validation_script_content()

Exceções