InferenceConfig Klasa

Reprezentuje ustawienia konfiguracji dla środowiska niestandardowego używanego do wdrożenia.

Konfiguracja wnioskowania jest parametrem wejściowym dla Model akcji związanych z wdrażaniem:

Dziedziczenie
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametry

entry_script
str

Ścieżka do pliku lokalnego, który zawiera kod do uruchomienia dla obrazu.

runtime
str

Środowisko uruchomieniowe do użycia w obrazie. Bieżące obsługiwane środowiska uruchomieniowe to "Spark-pr" i "Python".

conda_file
str

Ścieżka do pliku lokalnego zawierającego definicję środowiska Conda do użycia w obrazie.

extra_docker_file_steps
str

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.

source_directory
str

Ścieżka do folderu, który zawiera wszystkie pliki do utworzenia obrazu.

enable_gpu
bool

Wskazuje, czy włączyć obsługę procesora GPU w obrazie. Obraz procesora GPU musi być używany w odniesieniu do usług Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning COMPUTE, Azure Virtual Machines i Azure Kubernetes Service. Wartością domyślną jest false.

description
str

Opis służący do nadawania tego obrazu.

base_image
str

Obraz niestandardowy, który będzie używany jako obraz podstawowy. Jeśli obraz podstawowy nie zostanie określony, podstawowy obraz zostanie użyty na podstawie danego parametru środowiska uruchomieniowego.

base_image_registry
ContainerRegistry

Rejestr obrazu zawierający obraz podstawowy.

cuda_version
str

Wersja CUDA do zainstalowania dla obrazów wymagających obsługi procesora GPU. Obraz procesora GPU musi być używany w odniesieniu do usług Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning COMPUTE, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane są wersje 9,0, 9,1 i 10,0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9,1".

environment
Środowisko

Obiekt środowiska do użycia we wdrożeniu. Środowisko nie musi być zarejestrowane.

Podaj ten parametr albo inne parametry, ale nie oba. Poszczególne parametry nie będą działać jako przesłonięcie obiektu środowiska. Wyjątki obejmują entry_script , source_directory , i description .

Uwagi

Poniższy przykład pokazuje, jak utworzyć obiekt InferenceConfig i użyć go do wdrożenia modelu.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Pełny przykład jest dostępny z https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/deploy-to-cloud/model-register-and-deploy.ipynb

Zmienne

entry_script
str

Ścieżka do pliku lokalnego, który zawiera kod do uruchomienia dla obrazu.

runtime
str

Środowisko uruchomieniowe do użycia w obrazie. Bieżące obsługiwane środowiska uruchomieniowe to "Spark-pr" i "Python".

conda_file
str

Ścieżka do pliku lokalnego zawierającego definicję środowiska Conda do użycia w obrazie.

extra_docker_file_steps
str

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.

source_directory
str

Ścieżka do folderu, który zawiera wszystkie pliki do utworzenia obrazu.

enable_gpu
bool

Wskazuje, czy włączyć obsługę procesora GPU w obrazie. Obraz procesora GPU musi być używany w odniesieniu do usług Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning COMPUTE, Azure Virtual Machines i Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Opis służący do nadawania tego obrazu.

base_image
str

Obraz niestandardowy, który będzie używany jako obraz podstawowy. Jeśli obraz podstawowy nie zostanie określony, podstawowy obraz zostanie użyty na podstawie danego parametru środowiska uruchomieniowego.

base_image_registry
ContainerRegistry

Rejestr obrazu zawierający obraz podstawowy.

cuda_version
str

Wersja CUDA do zainstalowania dla obrazów wymagających obsługi procesora GPU. Obraz procesora GPU musi być używany w odniesieniu do usług Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning COMPUTE, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane są wersje 9,0, 9,1 i 10,0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9,1".

azureml.core.model.InferenceConfig.environment

Obiekt środowiska do użycia we wdrożeniu. Środowisko nie musi być zarejestrowane.

Podaj ten parametr albo inne parametry, ale nie oba. Poszczególne parametry nie będą działać jako przesłonięcie obiektu środowiska. Wyjątki obejmują entry_script , source_directory , i description .

Metody

build_create_payload

Kompiluj ładunek tworzenia obrazu kontenera.

build_profile_payload

Kompiluj ładunek profilowania dla pakietu modelu.

validate_configuration

Sprawdź, czy określone wartości konfiguracji są prawidłowe.

Podnosi wartość, WebserviceException Jeśli walidacja nie powiedzie się.

validation_script_content

Sprawdź, czy składnia skryptu wynikowego jest prawidłowa przy użyciu AST. Parse.

Podnosi wartość, UserErrorException Jeśli walidacja nie powiedzie się.

build_create_payload

Kompiluj ładunek tworzenia obrazu kontenera.

build_create_payload(workspace, name, model_ids)

Parametry

workspace
Workspace

Obiekt obszaru roboczego, w którym ma zostać utworzony obraz.

name
str

Nazwa obrazu.

model_ids
list[str]

Lista identyfikatorów modelu do spakowania do obrazu.

Zwraca

Ładunek tworzenia obrazu kontenera.

Typ zwracany

Wyjątki

build_profile_payload

Kompiluj ładunek profilowania dla pakietu modelu.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametry

profile_name
str

Nazwa przebiegu profilowania.

input_data
str
wartość domyślna: None

Dane wejściowe do profilowania.

workspace
Workspace
wartość domyślna: None

Obiekt obszaru roboczego, w którym ma zostać profilować model.

models
list[Model]
wartość domyślna: None

Lista obiektów modelu. Może być pustą listą.

dataset_id
str
wartość domyślna: None

Identyfikator skojarzony z zestawem danych zawierającym dane wejściowe dla przebiegu profilowania.

container_resource_requirements
ContainerResourceRequirements
wartość domyślna: None

wymagania dotyczące zasobów kontenera dla największego wystąpienia, do którego ma zostać wdrożony model

description
str
wartość domyślna: None

Opis, który ma zostać skojarzony z przebiegiem profilowania.

Zwraca

Ładunek profilu modelu

Typ zwracany

Wyjątki

validate_configuration

Sprawdź, czy określone wartości konfiguracji są prawidłowe.

Podnosi wartość, WebserviceException Jeśli walidacja nie powiedzie się.

validate_configuration()

Wyjątki

validation_script_content

Sprawdź, czy składnia skryptu wynikowego jest prawidłowa przy użyciu AST. Parse.

Podnosi wartość, UserErrorException Jeśli walidacja nie powiedzie się.

validation_script_content()

Wyjątki