InferenceConfig Classe

  • Référence

Représente les paramètres de configuration d’un environnement personnalisé utilisé pour le déploiement.

La configuration de l’inférence est un paramètre d’entrée pour les actions liées au déploiement de Model :

Initialisez l’objet config.

Héritage
builtins.object
InferenceConfig

Constructeur

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Paramètres

entry_script
str
Obligatoire

Chemin d’un fichier local qui contient le code à exécuter pour l’image.

runtime
str
valeur par défaut: None

Runtime à utiliser pour l’image. Actuellement, les runtimes pris en charge sont « spark-py » et « python ».

conda_file
str
valeur par défaut: None

Chemin d’un fichier local contenant une définition d’environnement Conda à utiliser pour l’image.

extra_docker_file_steps
str
valeur par défaut: None

Chemin d’un fichier local contenant les étapes Docker supplémentaires à exécuter durant la configuration d’une image.

source_directory
str
valeur par défaut: None

Chemin du dossier qui contient tous les fichiers permettant de créer l’image.

enable_gpu
bool
valeur par défaut: None

Indique s’il est nécessaire d’activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Valeur par défaut False.

description
str
valeur par défaut: None

Description à fournir à cette image.

base_image
str
valeur par défaut: None

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est proposée, l’image de base sera utilisée en fonction d’un paramètre d’exécution donné.

base_image_registry
ContainerRegistry
valeur par défaut: None

Registre d’images contenant l’image de base.

cuda_version
str
valeur par défaut: None

Version de CUDA à installer pour les images qui nécessitent une prise en charge du GPU. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont les versions 9.0, 9.1 et 10.0. Si enable_gpu est défini, la valeur par défaut est « 9.1 ».

environment
Environment
valeur par défaut: None

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Indiquez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne remplacent PAS l’objet d’environnement. Les exceptions incluent entry_script, source_directory et description.

entry_script
str
Obligatoire

Chemin d’un fichier local qui contient le code à exécuter pour l’image.

runtime
str
Obligatoire

Runtime à utiliser pour l’image. Actuellement, les runtimes pris en charge sont « spark-py » et « python ».

conda_file
str
Obligatoire

Chemin d’un fichier local contenant une définition d’environnement Conda à utiliser pour l’image.

extra_docker_file_steps
str
Obligatoire

Chemin d’un fichier local contenant les étapes Docker supplémentaires à exécuter durant la configuration d’une image.

source_directory
str
Obligatoire

Chemin du dossier qui contient tous les fichiers permettant de créer l’image.

enable_gpu
bool
Obligatoire

Indique s’il est nécessaire d’activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Valeur par défaut False.

description
str
Obligatoire

Description à fournir à cette image.

base_image
str
Obligatoire

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est proposée, l’image de base sera utilisée en fonction d’un paramètre d’exécution donné.

base_image_registry
ContainerRegistry
Obligatoire

Registre d’images contenant l’image de base.

cuda_version
str
Obligatoire

Version de CUDA à installer pour les images qui nécessitent une prise en charge du GPU. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont les versions 9.0, 9.1 et 10.0. Si enable_gpu est défini, la valeur par défaut est « 9.1 ».

environment
Environment
Obligatoire

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Indiquez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne remplacent PAS l’objet d’environnement. Les exceptions incluent entry_script, source_directory et description.

Remarques

L’exemple suivant montre comment créer un objet InferenceConfig et l’utiliser pour déployer un modèle.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variables

entry_script
str

Chemin d’un fichier local qui contient le code à exécuter pour l’image.

runtime
str

Runtime à utiliser pour l’image. Actuellement, les runtimes pris en charge sont « spark-py » et « python ».

conda_file
str

Chemin d’un fichier local contenant une définition d’environnement Conda à utiliser pour l’image.

extra_docker_file_steps
str

Chemin d’un fichier local contenant les étapes Docker supplémentaires à exécuter durant la configuration de l’image.

source_directory
str

Chemin du dossier qui contient tous les fichiers permettant de créer l’image.

enable_gpu
bool

Indique s’il est nécessaire d’activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Description à fournir à cette image.

base_image
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est proposée, l’image de base sera utilisée en fonction d’un paramètre d’exécution donné.

base_image_registry
ContainerRegistry

Registre d’images contenant l’image de base.

cuda_version
str

Version de CUDA à installer pour les images qui nécessitent une prise en charge du GPU. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont les versions 9.0, 9.1 et 10.0. Si enable_gpu est défini, la valeur par défaut est « 9.1 ».

azureml.core.model.InferenceConfig.environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Indiquez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne remplacent PAS l’objet d’environnement. Les exceptions incluent entry_script, source_directory et description.

Méthodes

build_create_payload

Génère la charge utile de la création de l’image conteneur.
build_profile_payload

Génère la charge utile de profilage pour le package de modèle.
validate_configuration

Vérifie que les valeurs de configuration spécifiées sont valides.

Lève une exception WebserviceException en cas d’échec de la validation.
validation_script_content

Vérifiez que la syntaxe du script de score est valide avec ast.parse.

Lève une exception UserErrorException en cas d’échec de la validation.

build_create_payload

Génère la charge utile de la création de l’image conteneur.

build_create_payload(workspace, name, model_ids)

Paramètres

workspace
Workspace
Obligatoire

Objet d’espace de travail dans lequel créer l’image.

name
str
Obligatoire

Nom de l'image.

model_ids
list[str]
Obligatoire

Liste d’ID de modèles à packager dans l’image.

Retours

Charge utile de la création de l’image conteneur.

Type de retour

dict

Exceptions

WebserviceException

build_profile_payload

Génère la charge utile de profilage pour le package de modèle.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Paramètres

profile_name
str
Obligatoire

Nom de l’exécution du profilage.

input_data
str
valeur par défaut: None

Données d’entrée pour le profilage.

workspace
Workspace
valeur par défaut: None

Objet Workspace dans lequel profiler le modèle.

models
list[Model]
valeur par défaut: None

Liste d’objets de modèle. Il peut s’agir d’une liste vide.

dataset_id
str
valeur par défaut: None

ID associé au jeu de données contenant les données d’entrée pour l’exécution du profilage.

container_resource_requirements
ContainerResourceRequirements
valeur par défaut: None

impératifs liés aux ressources d’un conteneur pour la plus grande instance sur laquelle le modèle doit être déployé

description
str
valeur par défaut: None

Description à associer à l’exécution du profilage.

Retours

Charge utile de profil du modèle

Type de retour

dict

Exceptions

WebserviceException

validate_configuration

Vérifie que les valeurs de configuration spécifiées sont valides.

Lève une exception WebserviceException en cas d’échec de la validation.

validate_configuration()

Exceptions

WebserviceException

validation_script_content

Vérifiez que la syntaxe du script de score est valide avec ast.parse.

Lève une exception UserErrorException en cas d’échec de la validation.

validation_script_content()

Exceptions

UserErrorException