Upgrade koncových bodů nasazení na sadu SDK v2
Se sadou SDK nebo rozhraním příkazového řádku v1 můžete nasazovat modely v ACI nebo AKS jako webové služby. Vaše stávající nasazení modelů v1 a webové služby budou dál fungovat, ale použití sady SDK/CLI v1 k nasazení modelů v ACI nebo AKS jako webových služeb se teď považuje za starší verzi. V případě nasazení nových modelů doporučujeme upgradovat na verzi 2.
Ve verzi 2 nabízíme spravované koncové body nebo koncové body Kubernetes. Porovnání verzí v1 a v2 najdete v tématu Koncové body a nasazení.
Existuje několik trychtýřů nasazení, jako jsou spravované online koncové body, online koncové body Kubernetes (včetně služeb Azure Kubernetes a Kubernetes s podporou Arc) ve verzi 2 a webové služby Azure Container Instances (ACI) a služby Kubernetes Services (AKS) ve verzi 1. V tomto článku se zaměříme na porovnání nasazení do webových služeb ACI (v1) a spravovaných online koncových bodů (v2).
Příklady v tomto článku ukazují, jak:
- Nasazení modelu do Azure
- Skóre pomocí koncového bodu
- Odstranění webové služby nebo koncového bodu
Vytvoření prostředků pro odvození
- Sada SDK v1
Konfigurace modelu, prostředí a hodnoticího skriptu:
# configure a model. example for registering a model from azureml.core.model import Model model = Model.register(ws, model_name="bidaf_onnx", model_path="./model.onnx") # configure an environment from azureml.core import Environment env = Environment(name='myenv') python_packages = ['nltk', 'numpy', 'onnxruntime'] for package in python_packages: env.python.conda_dependencies.add_pip_package(package) # configure an inference configuration with a scoring script from azureml.core.model import InferenceConfig inference_config = InferenceConfig( environment=env, source_directory="./source_dir", entry_script="./score.py", )
Konfigurace a nasazení webové služby ACI:
from azureml.core.webservice import AciWebservice # defince compute resources for ACI deployment_config = AciWebservice.deploy_configuration( cpu_cores=0.5, memory_gb=1, auth_enabled=True ) # define an ACI webservice service = Model.deploy( ws, "myservice", [model], inference_config, deployment_config, overwrite=True, ) # create the service service.wait_for_deployment(show_output=True)
Další informace o registraci modelů najdete v tématu Registrace modelu z místního souboru.
SDK v2
Konfigurace modelu, prostředí a hodnoticího skriptu:
from azure.ai.ml.entities import Model # configure a model model = Model(path="../model-1/model/sklearn_regression_model.pkl") # configure an environment from azure.ai.ml.entities import Environment env = Environment( conda_file="../model-1/environment/conda.yml", image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1", ) # configure an inference configuration with a scoring script from azure.ai.ml.entities import CodeConfiguration code_config = CodeConfiguration( code="../model-1/onlinescoring", scoring_script="score.py" )
Konfigurace a vytvoření online koncového bodu:
import datetime from azure.ai.ml.entities import ManagedOnlineEndpoint # create a unique endpoint name with current datetime to avoid conflicts online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f") # define an online endpoint endpoint = ManagedOnlineEndpoint( name=online_endpoint_name, description="this is a sample online endpoint", auth_mode="key", tags={"foo": "bar"}, ) # create the endpoint: ml_client.begin_create_or_update(endpoint)
Konfigurace a vytvoření online nasazení:
from azure.ai.ml.entities import ManagedOnlineDeployment # define a deployment blue_deployment = ManagedOnlineDeployment( name="blue", endpoint_name=online_endpoint_name, model=model, environment=env, code_configuration=code_config, instance_type="Standard_F2s_v2", instance_count=1, ) # create the deployment: ml_client.begin_create_or_update(blue_deployment) # blue deployment takes 100 traffic endpoint.traffic = {"blue": 100} ml_client.begin_create_or_update(endpoint)
Další informace o konceptech pro koncové body a nasazení najdete v tématu Co jsou online koncové body?
Odeslat žádost
Sada SDK v1
import json data = { "query": "What color is the fox", "context": "The quick brown fox jumped over the lazy dog.", } data = json.dumps(data) predictions = service.run(input_data=data) print(predictions)
SDK v2
# test the endpoint (the request will route to blue deployment as set above) ml_client.online_endpoints.invoke( endpoint_name=online_endpoint_name, request_file="../model-1/sample-request.json", ) # test the specific (blue) deployment ml_client.online_endpoints.invoke( endpoint_name=online_endpoint_name, deployment_name="blue", request_file="../model-1/sample-request.json", )
Odstranění prostředků
Sada SDK v1
service.delete()
SDK v2
ml_client.online_endpoints.begin_delete(name=online_endpoint_name)
Mapování klíčových funkcí v sadě SDK v1 a SDK v2
Související dokumenty
Další informace najdete v tématu
Dokumentace v2:
- Co jsou koncové body?
- Nasazení modelů strojového učení do spravovaného online koncového bodu pomocí sady Python SDK v2
Dokumentace v1: