Azure Machine Learning'de modellerle çalışma

Makale
06/16/2023

ŞUNLAR IÇIN GEÇERLIDIR:Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Azure Machine Learning, farklı model türleriyle çalışmanızı sağlar. Bu makalede Azure Machine Learning'i kullanarak özel, MLflow ve Triton gibi farklı model türleriyle çalışmayı öğreneceksiniz. Ayrıca, modeli farklı konumlardan kaydetmeyi ve modellerinizi yönetmek için Azure Machine Learning SDK'sını, kullanıcı arabirimini (UI) ve Azure Machine Learning CLI'yı kullanmayı da öğrenirsiniz.

İpucu

SDK/CLI v1 kullanan model varlıkları oluşturduysanız bunları SDK/CLI v2 ile kullanmaya devam edebilirsiniz. Tam geriye dönük uyumluluk sağlanır. V1 SDK'sı ile kaydedilen tüm modellere türü customatanır.

Önkoşullar

Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.
Azure Machine Learning çalışma alanı.
Python için Azure Machine Learning SDK v2.
Azure Machine Learning CLI v2.

Ayrıca şunları yapmanız gerekir:

Azure CLI
Python SDK'sı

Azure CLI'yi ve ml uzantısını Azure CLI'ya yükleyin. Daha fazla bilgi için bkz . CLI'yi (v2) yükleme, ayarlama ve kullanma.

Desteklenen yollar

Kaydetmek istediğiniz modeli sağladığınızda, verilere veya iş konumuna işaret eden bir path parametre belirtmeniz gerekir. Aşağıda Azure Machine Learning'de desteklenen farklı veri konumlarını ve parametresine yönelik örnekleri gösteren bir tablo verilmiştir path :

Konum	Örnekler
Yerel bilgisayarınızda bir yol	`mlflow-model/model.pkl`
Azure Machine Learning Veri Deposu'nda yol	`azureml://datastores/<datastore-name>/paths/<path_on_datastore>`
Azure Machine Learning işinden bir yol	`azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>`
MLflow işinden yol	`runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>`
Azure Machine Learning Çalışma Alanı'ndaki Model Varlığından bir yol	`azureml:<model-name>:<version>`
Azure Machine Learning Kayıt Defteri'ndeki Model Varlığından bir yol	`azureml://registries/<registry-name>/models/<model-name>/versions/<version>`

Desteklenen modlar

Model girişleriyle/çıkışlarıyla bir iş çalıştırdığınızda modu belirtebilirsiniz; örneğin modelin salt okunur olarak bağlanmasını mı yoksa işlem hedefine mi indirileceğini seçebilirsiniz. Aşağıdaki tabloda, farklı tür/mod/giriş/çıkış bileşimleri için olası modlar gösterilmektedir:

Tür	Giriş/Çıkış	`upload`	`download`	`ro_mount`	`rw_mount`	`direct`
`custom` dosyası	Giriş
`custom` Klasör	Giriş		✓	✓		✓
`mlflow`	Giriş		✓	✓
`custom` dosyası	Çıktı	✓			✓	✓
`custom` Klasör	Çıktı	✓			✓	✓
`mlflow`	Çıktı	✓			✓	✓

Jupyter Notebooks'ta birlikte izleyin

Bu örneği bir Jupyter Notebook takip edebilirsiniz. azureml-examples deposunda not defterini açın: model.ipynb.

Model kayıt defterinde model oluşturma

Model kaydı , modellerinizi Azure bulutunda, çalışma alanınızda depolamanıza ve sürüm oluşturmanıza olanak tanır. Model kayıt defteri, eğitilen modellerinizi düzenlemenize ve izlemenize yardımcı olur.

Bu bölümdeki kod parçacıkları şunların nasıl yapılacağını kapsar:

CLI kullanarak modelinizi Machine Learning'de varlık olarak kaydedin.
SDK'sını kullanarak modelinizi Machine Learning'de varlık olarak kaydedin.
Kullanıcı arabirimini kullanarak modelinizi Machine Learning'de varlık olarak kaydedin.

Bu kod parçacıkları ve mlflowkullanırcustom.

custom , şu anda Azure Machine Learning tarafından desteklenmeyen özel bir standartla eğitilmiş bir model dosyasına veya klasöre başvuran bir türdür.
mlflow mlflow ile eğitilen bir modele başvuran bir türdür. MLflow tarafından eğitilen modeller , MLmodel dosyasını, model dosyasını, conda bağımlılıkları dosyasını ve requirements.txt dosyasını içeren bir klasördedir.

Çalışma alanınıza bağlanma

İlk olarak üzerinde çalışacağımız Azure Machine Learning çalışma alanına bağlanalım.

Azure CLI
Python SDK'sı

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Çalışma alanı Azure Machine Learning'in en üst düzey kaynağıdır. Azure Machine Learning'i kullanırken oluşturduğunuz tüm yapıtlarla çalışmak için merkezi bir konum sağlar. Bu bölümde, dağıtım görevlerini gerçekleştirdiğiniz çalışma alanına bağlanacağız.

Gerekli kitaplıkları içeri aktarın:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Çalışma alanı ayrıntılarını yapılandırın ve çalışma alanına bir tanıtıcı alın:

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

CLI kullanarak modelinizi Machine Learning'de varlık olarak kaydetme

Modelinizin bulunduğu yeri seçmek için aşağıdaki sekmeleri kullanın.

$schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
name: local-file-example
path: mlflow-model/model.pkl
description: Model created from local file.

az ml model create -f <file-name>.yml

Tam bir örnek için yaml modeline bakın.

Aşağıdaki desteklenen URI biçimlerinden birini kullanarak bir bulut yolundan model oluşturabilirsiniz.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Örnekler, söz dizimini azureml://datastores/<datastore-name>/paths/<path_on_datastore>kullanarak üzerindeki datastore bir yola işaret etmek için kısaltma azureml düzenini kullanır.

Tam bir örnek için bkz. CLI başvurusu.

Burada iki seçeneğiniz var. MLflow çalıştırma URI biçimini veya URI biçimini kullanabilirsiniz azureml job .

MLflow

Bu seçenek, MLflow çalıştırma URI biçimini zaten bilen MLflow kullanıcıları için iyileştirilmiştir. Bu seçenek, varsayılan yapıt konumundaki yapıtlardan (MLflow tarafından günlüğe kaydedilen tüm modellerin ve yapıtların bulunduğu) bir model oluşturmanıza yardımcı olur. Bu, kayıtlı bir model ile modelin geldiği çalıştırma arasında bir köken oluşturur.

Biçim: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Örnek: runs:/<run-id>/model/

az ml model create --name my-model --version 1 --path runs:/<run-id>/model/ --type mlflow_model

azureml işi

Bu seçenek, işin çıkışlarından herhangi birinde yapıtlardan model kaydetmenize yardımcı olan bir azureml job başvuru URI biçimidir. Bu biçim, var olan azureml veri deposu başvuru URI biçimiyle hizalanır ve ayrıca işin adlandırılmış çıkışlarından yapıtlara başvurmayı da destekler (yalnızca varsayılan yapıt konumu değil). MLflow kullanarak modelinizi doğrudan eğitim betiğine kaydetmediyseniz, kayıtlı modelle eğitildiği iş arasında bir köken oluşturabilirsiniz.

Biçim: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Örnekler:

Varsayılan yapıt konumu: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
- Bu, ile runs:/<run-id>/model/eşdeğerdir.
- artifacts , varsayılan yapıt konumunu temsil eden çıkışa başvurmak için ayrılmış anahtar sözcüktür.
Adlandırılmış bir çıkış dizininden: azureml://jobs/<run-id>/outputs/trained-model
Adlandırılmış çıkış dizinindeki belirli bir dosya veya klasör yolundan:
- azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
- azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Adlandırılmış çıktıdan model kaydediliyor:

az ml model create --name my-model --version 1 --path azureml://jobs/<run-id>/outputs/trained-model

Tam bir örnek için bkz. CLI başvurusu.

SDK kullanarak modelinizi Machine Learning'de varlık olarak kaydetme

Modelinizin bulunduğu yeri seçmek için aşağıdaki sekmeleri kullanın.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Aşağıdaki desteklenen URI biçimlerinden birini kullanarak bir bulut yolundan model oluşturabilirsiniz.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Örnekler, söz dizimini azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}kullanarak üzerindeki datastore bir yola işaret etmek için kısaltma azureml düzenini kullanır.

Burada iki seçeneğiniz var. MLflow çalıştırma URI biçimini veya URI biçimini kullanabilirsiniz azureml job .

MLflow

Biçim: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Örnek: runs:/<run-id>/model/

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import ModelType

run_model = Model(
    path="runs:/<run-id>/model/"
    name="run-model-example",
    description="Model created from run.",
    type=ModelType.MLFLOW
)

ml_client.models.create_or_update(run_model)

azureml işi

Biçim: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Örnekler:

Varsayılan yapıt konumu: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
- Bu, ile runs:/<run-id>/model/eşdeğerdir.
- artifacts , varsayılan yapıt konumunu temsil eden çıkışa başvurmak için ayrılmış anahtar sözcüktür.
Adlandırılmış bir çıkış dizininden: azureml://jobs/<run-id>/outputs/trained-model
Adlandırılmış çıkış dizinindeki belirli bir dosya veya klasör yolundan:
- azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
- azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Adlandırılmış çıktıdan model kaydediliyor:

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

job_name = "<JOB_NAME>"

run_model = Model(
    path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL,
)
# Uncomment after adding required details above
# ml_client.models.create_or_update(run_model)

Tam bir örnek için bkz. model not defteri.

Kullanıcı arabirimini kullanarak modelinizi Machine Learning'de varlık olarak kaydetme

Machine Learning'de model oluşturmak için kullanıcı arabiriminden Modeller sayfasını açın. Modeli kaydet'i seçin ve modelinizin bulunduğu yeri seçin. Gerekli alanları doldurun ve Kaydet'i seçin.

Modelleri yönetme

SDK ve CLI (v2), Azure Machine Learning modeli varlıklarınızın yaşam döngüsünü yönetmenize de olanak sağlar.

Liste

Çalışma alanınızdaki tüm modelleri listeleyin:

Azure CLI
Python SDK'sı

az ml model list

models = ml_client.models.list()
for model in models:
    print(model.name)

Tüm model sürümlerini belirli bir ad altında listeleyin:

Azure CLI
Python SDK'sı

az ml model list --name run-model-example

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

Göster

Belirli bir modelin ayrıntılarını alın:

Azure CLI
Python SDK'sı

az ml model show --name run-model-example --version 1

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Güncelleştir

Belirli bir modelin değiştirilebilir özelliklerini güncelleştirme:

Azure CLI
Python SDK'sı

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Önemli

Yalnızca model description için ve tags güncelleştirilebilir. Diğer tüm özellikler sabittir; Bu özelliklerden herhangi birini değiştirmeniz gerekiyorsa modelin yeni bir sürümünü oluşturmanız gerekir.

Arşiv

Modelin arşivlenmesi, modeli varsayılan olarak liste sorgularından (az ml model list ) gizler. İş akışlarınızda arşivlenmiş bir modele başvurmaya ve kullanmaya devam edebilirsiniz. Modelin tüm sürümlerini veya yalnızca belirli bir sürümü arşivleyebilirsiniz.

Bir sürüm belirtmezseniz, modelin bu adın altındaki tüm sürümleri arşivlenir. Arşivlenmiş model kapsayıcısı altında yeni bir model sürümü oluşturursanız, bu yeni sürüm de otomatik olarak arşivlenmiş olarak ayarlanır.

Modelin tüm sürümlerini arşivle:

Azure CLI
Python SDK'sı

az ml model archive --name run-model-example

ml_client.models.archive(name="run-model-example")

Belirli bir model sürümünü arşivle:

Azure CLI
Python SDK'sı

az ml model archive --name run-model-example --version 1

ml_client.models.archive(name="run-model-example", version="1")

Eğitim için modeli kullanma

SDK ve CLI (v2), eğitim işinde giriş veya çıkış olarak model kullanmanıza da olanak sağlar.

İş belirtimi YAML dosyası (<file-name>.yml oluşturun. inputs İşin bölümünde belirtin:

type; modelin , mlflow_modelcustom_model veya triton_modelolup olmadığı.
path Verilerinizin bulunduğu konum; Desteklenen Yollar bölümünde özetlenen yollardan herhangi biri olabilir.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for models:
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

command: |
  ls ${{inputs.my_model}}
inputs:
  my_model:
    type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
    path: ../../assets/model/mlflow-model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Ardından CLI'da komutunu çalıştırın

az ml job create -f <file-name>.yml

Tam bir örnek için bkz. GitHub deposu modeli.

sınıfı şunları Input tanımlamanızı sağlar:

type; modelin , mlflow_modelcustom_model veya triton_modelolup olmadığı.
path Verilerinizin bulunduğu konum; Desteklenen Yollar bölümünde özetlenen yollardan herhangi biri olabilir.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

# Possible Asset Types for Data:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflowmodel")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Modeli bir işte çıkış olarak kullanma

İşinizde çıkışları kullanarak bulut tabanlı depolama alanınıza model yazabilirsiniz.

Azure CLI
Python SDK'sı

Bölüm, verilerinizi yazmak istediğiniz türü ve yolu ile doldurulmuş bir iş belirtimi YAML dosyası ()<file-name>.ymloutputs oluşturun:

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

code: src
command: >-
  python hello-model-as-output.py 
  --input_model ${{inputs.input_model}} 
  --custom_model_output ${{outputs.output_folder}}
inputs:
  input_model: 
    type: mlflow_model # mlflow_model,custom_model, triton_model
    path: ../../assets/model/mlflow-model
outputs:
  output_folder: 
    type: custom_model # mlflow_model,custom_model, triton_model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Ardından CLI kullanarak bir iş oluşturun:

az ml job create --file <file-name>.yml

Tam bir örnek için github deposu modeline bakın.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

# Possible Asset Types for Model:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),
}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Sonraki adımlar

Python SDK v2'yi yükleme ve ayarlama
MLflow modelleri için kodsuz dağıtım
MLflow ve Azure Machine Learning hakkında daha fazla bilgi edinin