InferenceConfig Classe

  • Riferimento

Rappresenta le impostazioni di configurazione per un ambiente personalizzato usato per la distribuzione.

La configurazione dell'inferenza è un parametro di input per le azioni correlate alla Model distribuzione:

Inizializzare l'oggetto config.

Ereditarietà
builtins.object
InferenceConfig

Costruttore

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametri

entry_script
str
Necessario

Percorso di un file locale contenente il codice da eseguire per l'immagine.

runtime
str
valore predefinito: None

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".

conda_file
str
valore predefinito: None

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.

extra_docker_file_steps
str
valore predefinito: None

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.

source_directory
str
valore predefinito: None

Percorso della cartella contenente tutti i file per creare l'immagine.

enable_gpu
bool
valore predefinito: None

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Il valore predefinito è False.

description
str
valore predefinito: None

Descrizione da assegnare all'immagine.

base_image
str
valore predefinito: None

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.

base_image_registry
ContainerRegistry
valore predefinito: None

Registro immagini contenente l'immagine di base.

cuda_version
str
valore predefinito: None

Versione di CUDA da installare per le immagini che necessitano del supporto della GPU. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, questa impostazione predefinita viene impostata su '9.1'.

environment
Environment
valore predefinito: None

Oggetto ambiente da usare per la distribuzione. L'ambiente non deve essere registrato.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

entry_script
str
Necessario

Percorso di un file locale contenente il codice da eseguire per l'immagine.

runtime
str
Necessario

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".

conda_file
str
Necessario

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.

extra_docker_file_steps
str
Necessario

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.

source_directory
str
Necessario

Percorso della cartella contenente tutti i file per creare l'immagine.

enable_gpu
bool
Necessario

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Il valore predefinito è False.

description
str
Necessario

Descrizione da assegnare all'immagine.

base_image
str
Necessario

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.

base_image_registry
ContainerRegistry
Necessario

Registro immagini contenente l'immagine di base.

cuda_version
str
Necessario

Versione di CUDA da installare per le immagini che necessitano del supporto della GPU. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, questa impostazione predefinita viene impostata su '9.1'.

environment
Environment
Necessario

Oggetto ambiente da usare per la distribuzione. L'ambiente non deve essere registrato.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Commenti

Nell'esempio seguente viene illustrato come creare un oggetto InferenceConfig e usarlo per distribuire un modello.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabili

entry_script
str

Percorso di un file locale contenente il codice da eseguire per l'immagine.

runtime
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".

conda_file
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.

extra_docker_file_steps
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.

source_directory
str

Percorso della cartella contenente tutti i file per creare l'immagine.

enable_gpu
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes.

azureml.core.model.InferenceConfig.description

Descrizione da assegnare all'immagine.

base_image
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.

base_image_registry
ContainerRegistry

Registro immagini contenente l'immagine di base.

cuda_version
str

Versione di CUDA da installare per le immagini che richiedono supporto GPU. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, questa impostazione predefinita viene impostata su '9.1'.

azureml.core.model.InferenceConfig.environment

Oggetto ambiente da usare per la distribuzione. L'ambiente non deve essere registrato.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Metodi

build_create_payload

Compilare il payload di creazione per l'immagine contenitore.
build_profile_payload

Compilare il payload di profilatura per il pacchetto Modello.
validate_configuration

Verificare che i valori di configurazione specificati siano validi.

Genera un valore WebserviceException se la convalida ha esito negativo.
validation_script_content

Verificare che la sintassi dello script di punteggio sia valida con ast.parse.

Genera un valore UserErrorException se la convalida ha esito negativo.

build_create_payload

Compilare il payload di creazione per l'immagine contenitore.

build_create_payload(workspace, name, model_ids)

Parametri

workspace
Workspace
Necessario

Oggetto area di lavoro in cui creare l'immagine.

name
str
Necessario

Nome dell'immagine.

model_ids
list[str]
Necessario

Elenco di ID modello da inserire nell'immagine.

Restituisce

Payload di creazione dell'immagine del contenitore.

Tipo restituito

dict

Eccezioni

WebserviceException

build_profile_payload

Compilare il payload di profilatura per il pacchetto Modello.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametri

profile_name
str
Necessario

Nome dell'esecuzione della profilatura.

input_data
str
valore predefinito: None

Dati di input per la profilatura.

workspace
Workspace
valore predefinito: None

Oggetto Workspace in cui profilare il modello.

models
list[Model]
valore predefinito: None

Elenco di oggetti modello. Può essere un elenco vuoto.

dataset_id
str
valore predefinito: None

ID associato al set di dati contenente i dati di input per l'esecuzione della profilatura.

container_resource_requirements
ContainerResourceRequirements
valore predefinito: None

requisiti di risorsa contenitore per l'istanza più grande in cui deve essere distribuito il modello

description
str
valore predefinito: None

Descrizione da associare all'esecuzione della profilatura.

Restituisce

Payload del profilo del modello

Tipo restituito

dict

Eccezioni

WebserviceException

validate_configuration

Verificare che i valori di configurazione specificati siano validi.

Genera un valore WebserviceException se la convalida ha esito negativo.

validate_configuration()

Eccezioni

WebserviceException

validation_script_content

Verificare che la sintassi dello script di punteggio sia valida con ast.parse.

Genera un valore UserErrorException se la convalida ha esito negativo.

validation_script_content()

Eccezioni

UserErrorException