Modeli çevrimiçi uç noktaya dağıtmak için özel kapsayıcı kullanma

Makale
03/26/2024

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Azure Machine Learning'de bir modeli çevrimiçi uç noktaya dağıtmak için özel kapsayıcı kullanmayı öğrenin.

Özel kapsayıcı dağıtımları, Azure Machine Learning tarafından kullanılan varsayılan Python Flask sunucusu dışındaki web sunucularını kullanabilir. Bu dağıtımların kullanıcıları Azure Machine Learning'in yerleşik izleme, ölçeklendirme, uyarı ve kimlik doğrulamasından yararlanmaya devam edebilir.

Aşağıdaki tabloda TensorFlow Hizmeti, TorchServe, Triton Çıkarım Sunucusu, Plumber R paketi ve Azure Machine Learning Çıkarımı Minimum görüntüsü gibi özel kapsayıcıları kullanan çeşitli dağıtım örnekleri listelenmiştir.

Örnek	Betik (CLI)	Açıklama
minimal/çok modelli	deploy-custom-container-minimal-multimodel	Azure Machine Learning Çıkarımı Minimum görüntüsünü genişleterek tek bir dağıtıma birden çok model dağıtın.
minimal/tek model	deploy-custom-container-minimal-single-model	Azure Machine Learning Çıkarımı Minimum görüntüsünü genişleterek tek bir model dağıtın.
mlflow/multideployment-scikit	deploy-custom-container-mlflow-multideployment-scikit	Azure Machine Learning Çıkarımı Minimum Görüntüsü'nü kullanarak tek bir uç noktanın arkasındaki iki ayrı dağıtıma farklı Python gereksinimleri olan iki MLFlow modeli dağıtın.
r/multimodel-plumber	deploy-custom-container-r-multimodel-plumber	Plumber R paketini kullanarak bir uç noktaya üç regresyon modeli dağıtma
tfserving/half-plus-two	deploy-custom-container-tfserving-half-plus-two	Standart model kayıt işlemini kullanarak Bir TensorFlow Sunan özel kapsayıcı kullanarak Yarım Artı İki modeli dağıtın.
tfserving/half-plus-two-integrated	deploy-custom-container-tfserving-half-plus-two-integrated	Bir TensorFlow Hizmeti özel kapsayıcısını kullanarak, görüntüyle tümleştirilmiş modelle half plus two modeli dağıtın.
torchserve/densenet	deploy-custom-container-torchserve-densenet	TorchServe özel kapsayıcısı kullanarak tek bir model dağıtın.
torchserve/huggingface-textgen	deploy-custom-container-torchserve-huggingface-textgen	Hugging Face modellerini çevrimiçi bir uç noktaya dağıtın ve Hugging Face Transformers TorchServe örneğini izleyin.
triton/tek model	deploy-custom-container-triton-single-model	Özel kapsayıcı kullanarak Triton modeli dağıtma

Bu makale, TensorFlow (TF) Sunumlu bir TensorFlow modeli sunma konusuna odaklanmaktadır.

Uyarı

Microsoft, özel görüntüden kaynaklanan sorunları gidermeye yardımcı olmayabilir. Sorunlarla karşılaşırsanız, sorunun görüntünüze özgü olup olmadığını görmek için varsayılan görüntüyü veya Microsoft'un sağladığı görüntülerden birini kullanmanız istenebilir.

Önkoşullar

Bu makaledeki adımları takip etmeden önce aşağıdaki önkoşullara sahip olduğunuzdan emin olun:

Azure Machine Learning çalışma alanı. Yoksa, oluşturmak için Hızlı Başlangıç: Çalışma alanı kaynakları oluşturma makalesindeki adımları kullanın.
Azure CLI ve ml uzantısı veya Azure Machine Learning Python SDK v2:
- Azure CLI ve uzantısını yüklemek için bkz . CLI'yı (v2) yükleme, ayarlama ve kullanma.
  
  Önemli
  
  Bu makaledeki CLI örneklerinde Bash (veya uyumlu) kabuğu kullandığınız varsayılır. Örneğin, bir Linux sisteminden veya Linux için Windows Alt Sistemi.
- Python SDK v2'yi yüklemek için aşağıdaki komutu kullanın:
```
pip install azure-ai-ml azure-identity
```
  SDK'nın mevcut yüklemesini en son sürüme güncelleştirmek için aşağıdaki komutu kullanın:
```
pip install --upgrade azure-ai-ml azure-identity
```
  Daha fazla bilgi için bkz . Azure Machine Learning için Python SDK v2'yi yükleme.

Sizin veya kullandığınız hizmet sorumlusunun, çalışma alanınızı içeren Azure kaynak grubuna Katkıda Bulunan erişimine sahip olması gerekir. Hızlı başlangıç makalesini kullanarak çalışma alanınızı yapılandırdıysanız böyle bir kaynak grubunuz vardır.
Yerel olarak dağıtmak için Docker altyapısının yerel olarak çalıştırılması gerekir. Bu adım kesinlikle önerilir. Sorunlarda hata ayıklamanıza yardımcı olur.

Kaynak kodu indirme

Bu öğreticiyi takip etmek için GitHub'dan kaynak kodu kopyalayın.

Azure CLI
Python SDK'sı

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Ayrıca örnek not defterine de bakın, ancak not defterindeki bölümün dizinin altında azureml-examples/sdk çalıştığını varsaydığını unutmayın3. Test locally.

Ortam değişkenlerini başlatma

Ortam değişkenlerini tanımlama:

BASE_PATH=endpoints/online/custom-container/tfserving/half-plus-two
AML_MODEL_NAME=tfserving-mounted
MODEL_NAME=half_plus_two
MODEL_BASE_PATH=/var/azureml-app/azureml-models/$AML_MODEL_NAME/1

TensorFlow modelini indirme

Bir girişi ikiye bölen ve sonucta 2 ekleyen bir modeli indirin ve sıkıştırmasını açın:

wget https://aka.ms/half_plus_two-model -O $BASE_PATH/half_plus_two.tar.gz
tar -xvf $BASE_PATH/half_plus_two.tar.gz -C $BASE_PATH

TF Sunum görüntüsünü yerel olarak çalıştırarak çalışıp çalışmadığını test edin

Test için görüntünüzü yerel olarak çalıştırmak için docker kullanın:

docker run --rm -d -v $PWD/$BASE_PATH:$MODEL_BASE_PATH -p 8501:8501 \
 -e MODEL_BASE_PATH=$MODEL_BASE_PATH -e MODEL_NAME=$MODEL_NAME \
 --name="tfserving-test" docker.io/tensorflow/serving:latest
sleep 10

Görüntüye canlılık ve puanlama istekleri gönderebildiğinizi denetleyin

İlk olarak, kapsayıcının etkin olup olmadığını denetleyin, yani kapsayıcının içindeki işlemin hala çalıştığını doğrulayın. 200 (Tamam) yanıtı almanız gerekir.

curl -v http://localhost:8501/v1/models/$MODEL_NAME

Ardından etiketlenmemiş veriler hakkında tahminler alıp alabildiğinizi denetleyin:

curl --header "Content-Type: application/json" \
  --request POST \
  --data @$BASE_PATH/sample_request.json \
  http://localhost:8501/v1/models/$MODEL_NAME:predict

Resmi durdurma

Artık yerel olarak test ettiğinize göre görüntüyü durdurun:

docker stop tfserving-test

Çevrimiçi uç noktanızı Azure'a dağıtma

Ardından çevrimiçi uç noktanızı Azure'a dağıtın.

Azure CLI
Python SDK'sı

Uç noktanız ve dağıtımınız için bir YAML dosyası oluşturma

BULUT dağıtımınızı YAML kullanarak yapılandırabilirsiniz. Bu örnek için örnek YAML'ye göz atın:

tfserving-endpoint.yml

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

tfserving-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: {{MODEL_VERSION}}
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/{{MODEL_VERSION}}
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

Azure Machine Learning çalışma alanına Bağlan

Azure Machine Learning çalışma alanınıza Bağlan, çalışma alanı ayrıntılarını yapılandırın ve çalışma alanına şu şekilde bir tanıtıcı alın:

Gerekli kitaplıkları içeri aktarın:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
   ManagedOnlineEndpoint,
   ManagedOnlineDeployment,
   Model,
   Environment,
   CodeConfiguration,
)
from azure.identity import DefaultAzureCredential

Çalışma alanı ayrıntılarını yapılandırın ve çalışma alanına bir tanıtıcı alın:

# enter details of your Azure Machine Learning workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AZUREML_WORKSPACE_NAME>"

# get a handle to the workspace
ml_client = MLClient(
   DefaultAzureCredential(), subscription_id, resource_group, workspace
)

Daha fazla bilgi için bkz . Python SDK v2 kullanarak yönetilen çevrimiçi uç noktaya makine öğrenmesi modelleri dağıtma.

Çevrimiçi uç noktayı yapılandırma

İpucu

name: Uç noktanın adı. Azure bölgesinde benzersiz olmalıdır. Uç noktanın adı büyük veya küçük harfle başlamalı ve yalnızca '-' ve alfasayısal karakterlerden oluşmalıdır. Adlandırma kuralları hakkında daha fazla bilgi için bkz . uç nokta sınırları.
auth_mode : Anahtar tabanlı kimlik doğrulaması için kullanın key . Azure Machine Learning belirteç tabanlı kimlik doğrulaması için kullanın aml_token . A'nın key süresi dolmaz, ancak aml_token süresi dolar. Kimlik doğrulaması hakkında daha fazla bilgi için bkz . Çevrimiçi uç noktada kimlik doğrulaması yapma.

İsteğe bağlı olarak, uç noktanıza açıklama ve etiketler ekleyebilirsiniz.

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint",
    auth_mode="key",
    tags={"foo": "bar"},
)

Çevrimiçi dağıtımı yapılandırma

Dağıtım, gerçek çıkarım yapan modeli barındırmak için gereken bir kaynak kümesidir. sınıfını ManagedOnlineDeployment kullanarak uç noktamız için bir dağıtım oluşturun.

İpucu

name - Dağıtımın adı.
endpoint_name - Dağıtımın oluşturulacağı uç noktanın adı.
model - Dağıtım için kullanılacak model. Bu değer, çalışma alanında var olan bir sürüme sahip > modelin başvurusu veya satır içi model belirtimi olabilir.
environment - Dağıtım için kullanılacak ortam. Bu değer, çalışma alanında var olan > bir sürüme sahip ortama başvuru veya satır içi ortam belirtimi olabilir.
code_configuration - kaynak kodun yapılandırması ve puanlama betiği
- path- Modeli puanlama için kaynak kod dizinine giden yol
- scoring_script - Kaynak kod dizinindeki puanlama dosyasının göreli yolu
instance_type - Dağıtım için kullanılacak VM boyutu. Desteklenen boyutların listesi için bkz . uç noktalar SKU listesi.
instance_count - Dağıtım için kullanılacak örnek sayısı

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Bu YAML/Python parametresinde dikkat edilmesi gereken birkaç önemli kavram vardır:

Hazırlık rotası ile canlılık yolu karşılaştırması

HTTP sunucusu hem canlılık hem de hazır olmaiçin yolları tanımlar. Sunucunun çalışıp çalışmadığını denetlemek için canlılık yolu kullanılır. Sunucunun çalışmaya hazır olup olmadığını denetlemek için hazır olma yolu kullanılır. Makine öğrenmesi çıkarımında, bir sunucu bir modeli yüklemeden önce canlılık isteğine 200 Tamam yanıt verebilir. Sunucu, yalnızca model belleğe yüklendikten sonra hazır olma isteğine 200 Tamam yanıt verebilir.

Canlılık ve hazırlık yoklamaları hakkında daha fazla bilgi için Kubernetes belgelerine bakın.

Bu dağıtımın hem canlılık hem de hazırlık için aynı yolu kullandığına dikkat edin, çünkü TF Hizmeti yalnızca bir canlılık yolu tanımlar.

Bağlı modeli bulma

Bir modeli çevrimiçi uç nokta olarak dağıttığınızda Azure Machine Learning modelinizi uç noktanıza bağlar . Model bağlama, yeni bir Docker görüntüsü oluşturmak zorunda kalmadan modelin yeni sürümlerini dağıtmanızı sağlar. Varsayılan olarak, foo adı ve sürüm 1 ile kaydedilen bir model dağıtılan kapsayıcınızın içindeki şu yolda bulunur: /var/azureml-app/azureml-models/foo/1

Örneğin, yerel makinenizde /azureml-examples/cli/endpoints/online/custom-container dizin yapınız varsa modelin adı half_plus_two:

Yerel dizin yapısının ağaç görünümünü gösteren diyagram.

Azure CLI
Python SDK'sı

ve tfserving-deployment.yml içerir:

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

Ve Model sınıfı şu içeriği içerir:

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

Ardından modeliniz dağıtımınızda /var/azureml-app/azureml-models/tfserving-deployment/1 altında yer alır:

Dağıtım dizini yapısının ağaç görünümünü gösteren diyagram.

İsteğe bağlı olarak yapılandırabilirsiniz model_mount_path. Modelin bağlandığı yolu değiştirmenize olanak tanır.

Önemli

, model_mount_path Linux'ta geçerli bir mutlak yol olmalıdır (kapsayıcı görüntüsünün işletim sistemi).

Azure CLI
Python SDK'sı

Örneğin, tfserving-deployment.yml parametreniz olabilirmodel_mount_path:

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
.....

Örneğin, sınıfınızda ManagedOnlineDeployment parametresi olabilirmodel_mount_path:

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    ...
)

Ardından modeliniz dağıtımınızda /var/tfserving-model-mount/tfserving-deployment/1 konumunda bulunur. Artık azureml-app/azureml-models altında değil, belirttiğiniz bağlama yolunun altında olduğunu unutmayın:

mount_model_path kullanılırken dağıtım dizini yapısının ağaç görünümünü gösteren diyagram.

YAML'nin nasıl oluşturulduğunı anladığınıza göre uç noktanızı oluşturun.

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving-endpoint.yml

Dağıtım oluşturmak birkaç dakika sürebilir.

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving-deployment.yml --all-traffic

Daha önce oluşturulan öğesini MLClient kullanarak çalışma alanında uç noktayı oluşturun. Bu komut uç nokta oluşturmayı başlatır ve uç nokta oluşturma işlemi devam ederken bir onay yanıtı döndürür.

ml_client.begin_create_or_update(endpoint)

Aşağıdakileri çalıştırarak dağıtımı oluşturun:

ml_client.begin_create_or_update(blue_deployment)

Uç noktayı çağırma

Dağıtımınız tamamlandıktan sonra, dağıtılan uç noktaya puanlama isteğinde bulunıp bulunamadığını görün.

Azure CLI
Python SDK'sı

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

Daha önce oluşturulan öğesini MLClient kullanarak uç noktaya bir tanıtıcı alırsınız. Uç nokta aşağıdaki parametrelerle invoke komutu kullanılarak çağrılabilir:

endpoint_name - Uç noktanın adı
request_file - İstek verilerini içeren dosya
deployment_name - Bir uç noktada test etmek için belirli dağıtımın adı

JSON dosyası kullanarak örnek istek gönderin. Örnek JSON örnek depodadır.

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample-request.json",
)

Uç noktayı silme

Artık uç noktanızla başarılı bir şekilde puanladığınıza göre, bunu silebilirsiniz:

Azure CLI
Python SDK'sı

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)