Bir çevrimiçi uç nokta (Önizleme) kullanarak makine öğrenimi modeli dağıtma ve Puanlama

Modelinizi dağıtmak için çevrimiçi bir uç nokta (Önizleme) kullanmayı öğrenin, bu nedenle temeldeki altyapıyı oluşturmanız ve yönetmeniz gerekmez. Hata ayıklamak için yerel makinenize bir model dağıtarak başlayacaksınız ve ardından Azure 'da dağıtıp test edersiniz.

Ayrıca, günlüklerin nasıl görüntüleneceğini ve hizmet düzeyi sözleşmesinin (SLA) nasıl izleneceğini de öğreneceksiniz. Bir modelle başlayıp çevrimiçi ve gerçek zamanlı Puanlama için kullanabileceğiniz ölçeklenebilir bir HTTPS/REST uç noktası ile biter.

yönetilen çevrimiçi uç noktalar, ML modellerinizi anahtar bir şekilde dağıtmanıza yardımcı olur. Yönetilen çevrimiçi uç noktalar, Azure 'daki güçlü CPU ve GPU makinelerle ölçeklenebilir, tam olarak yönetilen bir şekilde çalışır. Yönetilen çevrimiçi uç noktalar, modellerinizi sunmaya, ölçeklendirmeye, güvenli hale getirmenin ve izlemekten ve temel altyapıyı ayarlama ve yönetme yükünden yararlanın. Bu belgedeki ana örnek, dağıtım için yönetilen çevrimiçi uç noktaları kullanır. Bunun yerine Kubernetes 'i kullanmak için, yönetilen çevrimiçi uç nokta tartışmasına sahip bu belgedeki notlara bakın. daha fazla bilgi için bkz. Azure Machine Learning uç noktaları (önizleme) nedir?.

Önkoşullar

• Azure Machine Learning kullanmak için bir Azure aboneliğinizin olması gerekir. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning ücretsiz veya ücretli sürümünüdeneyin.

• Azure CLI ml 'yı ve uzantıyı Azure CLI 'ye yükleyip yapılandırın. Daha fazla bilgi için bkz. CLI (v2) (Önizleme) öğesini kurma, ayarlama ve kullanma.

• Bir Azure Kaynak grubunuz olmalıdır ve sizin (veya kullandığınız hizmet sorumlusu) kendisine katkıda bulunan erişimine sahip olmalıdır. Bir kaynak grubu, kurulum sırasında oluşturulur , ayarlanır ve CLI (v2) (Önizleme) kullanır.

• bir Azure Machine Learning çalışma alanınız olmalıdır. Bir çalışma alanı, kurulum 'da oluşturulur , ayarlanır ve CLI (v2) (Önizleme) kullanır.

• Azure CLı için varsayılan ayarları henüz ayarlamadıysanız varsayılan ayarlarınızı kaydedin. Abonelik, çalışma alanı ve kaynak grubunuzun değerlerini birden çok kez geçirmeyi önlemek için şu kodu çalıştırın:

  az account set --subscription <subscription ID>
  az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>
  

• Seçim Yerel olarak dağıtmak için, Docker altyapısını yerel bilgisayarınıza yüklemelisiniz. Bu seçeneği kesinlikle öneririz , bu nedenle sorunları ayıklamak daha kolay olur.

Sisteminizi hazırlama

Bu makaleyle birlikte izlemek için, önce örnek deposunu (azureml-örnekler) kopyalayın. Ardından, Samples dizinine gitmek için aşağıdaki kodu çalıştırın:

git clone https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

Uç nokta adınızı ayarlamak için işletim sisteminize bağlı olarak aşağıdaki komutlardan birini seçin ( YOUR_ENDPOINT_NAME benzersiz bir adla değiştirin).

UNIX için şu komutu çalıştırın:

export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

Uç nokta ve dağıtım yapılandırmasını gözden geçirin

Aşağıdaki kod parçacığı uç noktaları/çevrimiçi/yönetilen/örnek/uç nokta. yml dosyasını gösterir:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

Uç nokta YAML biçimi başvurusu aşağıdaki tabloda açıklanmıştır. Bu öznitelikleri nasıl belirteceğinizi öğrenmek için sisteminizi hazırlama veya çevrimiçi uç nokta YAML başvurusu' nda YAML örneğine bakın. Yönetilen uç noktalarla ilgili sınırlamalar hakkında daha fazla bilgi için, bkz. Azure Machine Learning sahip kaynaklar için kotaları yönetme ve artırma.

Örnek, bir modelin çevrimiçi bir uç noktada dağıtılması için gereken tüm dosyaları içerir. Bir modeli dağıtmak için, şunları yapmanız gerekir:

• Model dosyaları (veya çalışma alanınızda zaten kayıtlı olan bir modelin adı ve sürümü). Örnekte, regresyon sağlayan bir scikit-öğrenme modeli sunuyoruz.
• Modele puan vermek için gereken kod. Bu durumda, bir Score.py dosyası sunuyoruz.
• Modelinizin çalıştığı ortam. Gördüğünüz gibi, ortam Conda bağımlılıklarıyla bir Docker görüntüsü olabilir veya bir Dockerfile olabilir.
• örnek türü ve ölçekleme kapasitesini belirtmek için Ayarlar.

Aşağıdaki kod parçacığında, tüm gerekli girişlerle birlikte endpoints/online/Managed/Sample/Blue-Deployment. yml dosyası gösterilmektedir:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  local_path: ../../model-1/model/sklearn_regression_model.pkl
code_configuration:
  code: 
    local_path: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yml
  image: mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1
instance_type: Standard_F2s_v2
instance_count: 1

Tablo, öğesinin özniteliklerini açıklar deployment :

YAML şeması hakkında daha fazla bilgi için bkz. çevrimiçi uç nokta YAML başvurusu.

Modelinizi ve ortamınızı ayrı olarak kaydedin

Bu örnekte, local_path (dosyaların nereden yüklenebileceği) satır içi öğesini belirttik. CLı, dosyaları otomatik olarak karşıya yükler ve modeli ve ortamı kaydeder. Üretim için en iyi uygulama olarak, modeli ve ortamı kaydetmeniz ve kayıtlı adı ve sürümü YAML 'de ayrı olarak belirtmeniz gerekir. veya formunu model: azureml:my-model:1 environment: azureml:my-env:1 kullanın.

Kayıt için ve yaML tanımlarını ayrı model environment YAML dosyalarına ayıklar ve ve komutlarını az ml model create az ml environment create kullanabilirsiniz. Bu komutlar hakkında daha fazla bilgi edinmek için ve az ml model create -h az ml environment create -h çalıştırın.

Farklı CPU ve GPU örneği türleri kullanma

Yukarıdaki YAML genel amaçlı türü ( ) ve GPU olmayan bir Docker görüntüsü Standard_F2s_v2 kullanır (YAML'de özniteliğine image bakın). GPU işlem için gpu işlem türü SKU'su ve GPU Docker görüntüsü seçin.

Desteklenen genel amaçlı ve GPU örnek türleri için bkz. Yönetilen çevrimiçi uç noktalar tarafından desteklenen VM S SU'ları. Cpu ve GPU Azure Machine Learning görüntülerin listesi için bkz. Azure Machine Learning görüntüleri.

Birden fazla model kullanma

Şu anda YAML'de dağıtım başına yalnızca bir model belirtebilirsiniz. Birden fazla modeliniz varsa, modeli kaydediyorsanız, tüm modelleri dosya veya alt dizin olarak kayıt için kullanılan bir klasöre kopyalayın. Puanlama betiğinde, model kök AZUREML_MODEL_DIR klasörünün yolunu almak için ortam değişkenini kullanın. Temel alınan dizin yapısı korunur.

Puanlama betiklerini anlama

Daha önce belirtildiği gibi, code_configuration.scoring_script bir işlev ve bir init() işleve sahip olması run() gerekir. Bu örnekte, score.py 2. Kapsayıcı init() başlatılmış veya başlatılmış olduğunda işlevi çağrılır. Başlatma genellikle dağıtım oluşturulduktan veya güncelleştirildikten kısa süre sonra gerçekleşir. Modeli bellekte önbelleğe alma gibi genel başlatma işlemleri için buraya mantık yazın (bu örnekte olduğu gibi). İşlev, run() uç noktanın her çağrılma işlemi için çağrılır ve gerçek puanlama ile tahmini yapmalı. Örnekte verileri JSON girişlerinden ayıklar, scikit-learn modelinin yöntemini çağırarak predict() sonucu geri döneceğiz.

Yerel uç noktaları kullanarak yerel olarak dağıtma ve hata ayıklama

Hata ayıklamaya zaman kazanmak için uç noktanızı yerel olarak test-çalıştırmanızı kesinlikle öneririz. Daha fazla bilgi için bkz. Yönetilen çevrimiçi uç noktaların hata ayıklaması için Visual Studio Code.

Modeli yerel olarak dağıtma

İlk olarak uç noktayı oluşturun. İsteğe bağlı olarak, yerel bir uç nokta için bu adımı atlayıp dağıtımı doğrudan oluşturabilirsiniz (sonraki adım), böylece gerekli meta verileri oluşturabilirsiniz. Bu, geliştirme ve test amaçları için yararlıdır.

az ml online-endpoint create --local -n $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml

Şimdi uç noktanın altında adlı blue bir dağıtım oluşturun.

az ml online-deployment create --local -n blue --endpoint $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml

bayrağı --local CLI'yi docker ortamında uç noktayı dağıtmaya yönlendirmektedir.

Yerel dağıtımın başarılı olduğunu doğrulama

Modelin hatasız dağıtıp dağıtı olmadığını görmek için durumu kontrol edin:

az ml online-endpoint show -n $ENDPOINT_NAME --local

Çıktı aşağıdaki JSON'a benzer görünse de görünür. olduğunu provisioning_state Succeeded unutmayın.

{
  "auth_mode": "key",
  "location": "local",
  "name": "docs-endpoint",
  "properties": {},
  "provisioning_state": "Succeeded",
  "scoring_uri": "http://localhost:49158/score",
  "tags": {},
  "traffic": {}
}

Modelinizi kullanarak verileri puanlandırarak yerel uç noktayı çağırma

Kolaylık komutunu kullanarak ve JSON dosyasında depolanan sorgu parametrelerini geçerek invoke modeli puanlamak için uç noktayı çağırma:

az ml online-endpoint invoke --local --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

REST istemcisi (curl gibi) kullanmak için puanlama URI'sini alasiniz. Puanlama URI'lerini almak için az ml online-endpoint show --local -n $ENDPOINT_NAME çalıştırın. Döndürülen verilerde özniteliğini scoring_uri bulun. Örnek curl tabanlı komutlar bu belgenin devamlarında kullanılabilir.

Çağırma işlemi çıktısı için günlükleri gözden geçirme

Örnek score.py yöntemi, run() konsola bazı çıkışları günlüğe kaydeder. komutunu kullanarak bu çıkışı yeniden get-logs görüntüebilirsiniz:

az ml online-deployment get-logs --local -n blue --endpoint $ENDPOINT_NAME

Yönetilen çevrimiçi uç noktanızı Azure'a dağıtma

Ardından yönetilen çevrimiçi uç noktanızı Azure'a dağıtın.

Azure’a dağıtın

Uç noktayı bulutta oluşturmak için aşağıdaki kodu çalıştırın:

az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml

uç noktası altında adlı blue dağıtımı oluşturmak için aşağıdaki kodu çalıştırın:

az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

Bu dağıtım, temel alınan ortamın veya görüntünün ilk kez mi hazır olduğuna bağlı olarak 15 dakika kadar sürebilir. Aynı ortamı kullanan sonraki dağıtımlar, işlemeyi daha hızlı tamamlar.

Dağıtımın durumunu denetleme

komutu, show uç nokta ve provisioning_status dağıtımla ilgili bilgileri içerir:

az ml online-endpoint show -n $ENDPOINT_NAME

komutunu kullanarak çalışma alanında tüm uç noktaları tablo biçiminde list listeebilirsiniz:

az ml online-endpoint list --output table

Bulut dağıtımının durumunu denetleme

Modelin hatasız dağıtıp dağıtı olmadığını görmek için günlükleri kontrol edin:

az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

Varsayılan olarak, günlükler inference-server'dan çekilir. Depolama başlatıcıdan günlükleri görmek için (model ve kod gibi varlıkları kapsayıcıya bağlar) bayrağını --container storage-initializer ekleyin.

Modelinizi kullanarak verileri puanlandırarak uç noktayı çağırma

Uç noktayı çağırmak ve invoke bazı verileri puanlandırarak tercihiniz olan komutu veya REST istemcisini kullanabilirsiniz:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

Aşağıdaki örnek, uç noktada kimlik doğrulaması yapmak için kullanılan anahtarın nasıl elde etmek için olduğunu gösterir:

ENDPOINT_KEY=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME -o tsv --query primaryKey)

Ardından curl kullanarak verileri puanlayın.

SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)

curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --data @endpoints/online/model-1/sample-request.json

Kimlik doğrulaması kimlik show bilgilerini almak için ve get-credentials komutlarını kullanırsınız. Ayrıca, öznitelikleri yalnızca ihtiyacımız olan --query değere göre filtrelemek için bayrağını kullanıyoruz. hakkında daha fazla bilgi edinmek --query için bkz. Azure CLI komut çıktısını sorgulama.

Çağırma günlüklerini görmek için yeniden get-logs çalıştırın.

(İsteğe bağlı) Dağıtımı güncelleştirme

Kodu, modeli veya ortamı güncelleştirmek için YAML dosyasını güncelleştirin ve ardından komutunu az ml online-endpoint update çalıştırın.

Nasıl çalıştığını anlamak update için:

1. online/model-1/onlinescoring/score.py dosyasını açın.

2. İşlevin son satırı init() değiştirme: logging.info("Init complete") sonra, logging.info("Updated successfully") ekleyin.

3. Dosyayı kaydedin.

4. Şu komutu çalıştırın:

   az ml online-deployment update -n blue --endpoint $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml
   

   Not

   YAML kullanarak güncelleştirme bildirime neden olabilir. Diğer bir ifadeyle, YAML'de yapılan değişiklikler temel alınan Azure Resource Manager kaynaklara (uç noktalar ve dağıtımlar) yansıtıldı. Bildirime açık bir yaklaşım GitOps'yi kolaylaştırır: Uç noktalar ve dağıtımlarda yapılan tüm değişiklikler (hatta instance_count ) YAML'den geçmektedir. bayrağını kullanarak YAML'i kullanmadan güncelleştirmeler --set sabilirsiniz.

5. İşlevi init() değiştirmiş olduğunuz init() için (uç nokta oluşturulduğunda veya güncelleştirildiğinde çalışır), Updated successfully ileti günlüklerde yer alır. Şu çalıştırarak günlükleri alın:

   az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME
   

Komut update yerel dağıtımlarla da çalışır. bayrağıyla az ml online-deployment update aynı komutu --local kullanın.

Seçim Otomatik ölçeklendirmeyi yapılandırma

Otomatik ölçeklendirme, uygulamanızdaki yükü işlemek için doğru kaynak miktarını otomatik olarak çalıştırır. Yönetilen çevrimiçi uç noktalar, Azure izleyici otomatik ölçeklendirme özelliği ile tümleştirme yoluyla otomatik ölçeklendirmeyi destekler. Otomatik ölçeklendirmeyi yapılandırmak için bkz. Otomatik ölçeklendirme çevrimiçi uç noktaları.

Seçim Azure Izleyici 'yi kullanarak SLA 'yı izleme

Ölçümleri görüntülemek ve SLA 'larınıza göre uyarıları ayarlamak için, yönetilen çevrimiçi uç noktaları izlebölümünde açıklanan adımları uygulayın.

Seçim Log Analytics ile tümleştirin

get-logsKomut otomatik olarak seçili bir örnekten günlüklerin yalnızca son birkaç yüz satırını sağlar. Ancak, Log Analytics günlükleri bir şekilde depolamak ve analiz etmek için bir yol sağlar.

İlk olarak, Azure Portal bir Log Analytics çalışma alanı oluşturmabölümündeki adımları tamamlayarak bir Log Analytics çalışma alanı oluşturun.

Sonra Azure portal:

1. Kaynak grubuna gidin.
2. Uç noktanızı seçin.
3. ARM kaynak sayfasını seçin.
4. Tanılama ayarları' nı seçin.
5. Ayar ekle' yi seçin.
6. Konsol günlüklerinin Log Analytics çalışma alanına gönderilmesini etkinleştirmek için seçin.

Günlüklerin bağlanması bir saate kadar sürebilir. Bir saatten sonra, bazı Puanlama istekleri gönderin ve ardından aşağıdaki adımları kullanarak günlükleri kontrol edin:

1. Log Analytics çalışma alanını açın.
2. Sol taraftaki menüden Günlükler' i seçin.
3. Otomatik olarak açılan sorgular iletişim kutusunu kapatın.
4. Amlonlineendpointconsolelog' a çift tıklayın.
5. Çalıştır'ı seçin.

Uç noktayı ve dağıtımı silme

Dağıtımı kullanmıyorsanız, aşağıdaki kodu çalıştırarak silmeniz gerekir (uç noktayı ve tüm temel dağıtımları siler):

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Sonraki adımlar

Daha fazla bilgi edinmek için şu makaleleri gözden geçirin:

• REST ile modelleri dağıtma (Önizleme)
• Studio 'da yönetilen çevrimiçi uç noktaları (Önizleme) oluşturma ve kullanma
• çevrimiçi uç noktalar için Kasa dağıtımı (önizleme)
• Yönetilen çevrimiçi uç noktaları otomatik ölçeklendirme
• Batch Puanlama için Batch uç noktalarını (Önizleme) kullanma
• Azure Machine Learning yönetilen çevrimiçi uç noktanın maliyetlerini görüntüleme (önizleme)
• Yönetilen çevrimiçi uç nokta ve yönetilen kimlik (Önizleme) ile Azure kaynaklarına erişin
• Yönetilen çevrimiçi uç noktalar dağıtımı sorunlarını giderme