Bereitstellen von Pipelines mit Batchendpunkten

GILT FÜR:Azure CLI ML-Erweiterung v2 (aktuell)Python SDK azure-ai-ml v2 (aktuell)

Sie können Pipelinekomponenten unter einem Batchendpunkt bereitstellen, was eine bequeme Möglichkeit darstellt, sie in Azure Machine Learning zu operationalisieren. In diesem Artikel erfahren Sie, wie Sie eine Batchbereitstellung erstellen, die eine einfache Pipeline enthält. Sie lernen Folgendes:

• Erstellen und Registrieren einer Pipelinekomponente
• Erstellen eines Batchendpunkts und Bereitstellen einer Pipelinekomponente
• Testen der Bereitstellung

Über dieses Beispiel

In diesem Beispiel werden wir eine Pipelinekomponente bereitstellen, die aus einem einfachen Befehlsauftrag besteht, der „Hallo Welt“ ausgibt. Diese Komponente erfordert keine Eingaben oder Ausgaben und ist das einfachste Szenario einer Pipelinebereitstellung.

Das Beispiel in diesem Artikel basiert auf Codebeispielen, die im Repository azureml-examples enthalten sind. Um die Befehle lokal auszuführen, ohne YAML und andere Dateien kopieren/einfügen zu müssen, klonen Sie zunächst das Repository, und ändern Sie dann die Verzeichnisse zum Ordner:

Azure-Befehlszeilenschnittstelle

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Die Dateien für dieses Beispiel befinden sich in:

cd endpoints/batch/deploy-pipelines/hello-batch

Verfolgen in Jupyter-Notebooks

Sie können der Python SDK-Version dieses Beispiels folgen, indem Sie das Notebook sdk-deploy-and-test.ipynb im geklonten Repository öffnen.

Voraussetzungen

Stellen Sie vor dem Ausführen der Schritte in diesem Artikel sicher, dass Sie über die folgenden erforderlichen Komponenten verfügen:

• Ein Azure-Abonnement. Wenn Sie nicht über ein Azure-Abonnement verfügen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen. Probieren Sie die kostenlose oder kostenpflichtige Version von Azure Machine Learning aus.

• Ein Azure Machine Learning-Arbeitsbereich. Wenn Sie keins haben, führen Sie die Schritte im Artikel Verwalten von Azure Machine Learning-Arbeitsbereichen aus, um einen Arbeitsbereich zu erstellen.

• Stellen Sie sicher, dass Sie im Arbeitsbereich über die folgenden Berechtigungen verfügen:

  • Erstellen oder Verwalten von Batchendpunkten und Batchbereitstellungen: Verwenden Sie die Rolle für Besitzer oder Mitwirkende oder eine benutzerdefinierte Rolle, die Microsoft.MachineLearningServices/workspaces/batchEndpoints/* zulässt.

  • Erstellen von ARM-Bereitstellungen in der Arbeitsbereichsressourcengruppe: Verwenden Sie die Rolle für Besitzer oder Mitwirkende oder eine benutzerdefinierte Rolle, die Microsoft.Resources/deployments/write in der Ressourcengruppe zulässt, in der der Arbeitsbereich bereitgestellt wird.

• Für die Arbeit mit Azure Machine Learning müssen Sie die folgende Software installieren:

  Azure-Befehlszeilenschnittstelle

  Die Azure CLI und die ml-Erweiterung für Azure Machine Learning.

  az extension add -n ml
  

  Hinweis

  Bereitstellungen der Pipelinekomponenten für Batchendpunkte wurden in Version 2.7 der Erweiterung ml für die Azure CLI eingeführt. Verwenden Sie az extension update --name ml, um die letzte Version davon zu erhalten.

  Python

  Das Azure Machine Learning SDK für Python.

  pip install azure-ai-ml
  

  Hinweis

  Die Klassen ModelBatchDeployment und PipelineComponentBatchDeployment wurde in Version 1.7.0 des SDK eingeführt. Verwenden Sie pip install -U azure-ai-ml, um die letzte Version davon zu erhalten.

Herstellen einer Verbindung mit Ihrem Arbeitsbereich

Der Arbeitsbereich ist die Ressource der obersten Ebene für Azure Machine Learning und ein zentraler Ort für die Arbeit mit allen Artefakten, die Sie während der Nutzung von Azure Machine Learning erstellen. In diesem Abschnitt stellen wir eine Verbindung mit dem Arbeitsbereich her, in dem Sie die Bereitstellung vornehmen werden.

Azure-Befehlszeilenschnittstelle

Übergeben Sie die Werte für Ihre Abonnement-ID, Ihren Arbeitsbereich, Ihren Standort und Ihre Ressourcengruppe im folgenden Code:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Importieren Sie die erforderlichen Bibliotheken.

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Konfigurieren Sie die Arbeitsbereichsdetails, und rufen Sie einen Handle für den Arbeitsbereich ab:

   Übergeben Sie die Werte für Ihre Abonnement-ID, Ihren Arbeitsbereich und Ihre Ressourcengruppe im folgenden Code:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Erstellen der Pipelinekomponente

Batchendpunkte können entweder Modelle oder Pipelinekomponenten bereitstellen. Pipelinekomponenten sind wiederverwendbar, und Sie können Ihre MLOps-Praxis optimieren, indem Sie freigegebene Registrierungen verwenden, um diese Komponenten von einem Arbeitsbereich in einen anderen zu verschieben.

Die Pipelinekomponente in diesem Beispiel enthält einen einzigen Schritt, der nur eine „Hallo Welt“-Nachricht in die Protokolle ausgibt. Sie erfordert keine Eingaben oder Ausgaben.

Die folgende hello-component/hello.yml-Datei enthält die Konfiguration für den Pipelinekomponente:

hello-component/hello.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponent.schema.json
name: hello_batch
display_name: Hello Batch component
version: 1
type: pipeline
jobs:
  main_job:
    type: command
    component:
      code: src
      environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
      command: >-
        python hello.py

Registrieren Sie die Komponente:

Azure-Befehlszeilenschnittstelle

az ml component create -f hello-component/hello.yml

Python

hello_batch = load_component(source="hello-component/hello.yml")
hello_batch_registered = ml_client.components.create_or_update(hello_batch)

Erstellen eines Batchendpunkts

1. Geben Sie einen Namen für den Endpunkt an. Der Name eines Batchendpunkts muss in jeder Region eindeutig sein, da er zum Konstruieren des Aufruf-URI verwendet wird. Um die Eindeutigkeit sicherzustellen, fügen Sie alle nachstehenden Zeichen an den im folgenden Code angegebenen Namen an.

   Azure-Befehlszeilenschnittstelle

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name = "hello-batch"

2. Konfigurieren des Endpunkts:

   Azure-Befehlszeilenschnittstelle

   Die endpoint.yml-Datei enthält die Konfiguration des Endpunkts.

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )

3. Erstellen des Endpunkts:

   Azure-Befehlszeilenschnittstelle

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. Fragen Sie den Endpunkt-URI ab:

   Azure-Befehlszeilenschnittstelle

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)

Bereitstellen der Pipelinekomponente

Zum Bereitstellen der Pipelinekomponente müssen wir eine Batchbereitstellung erstellen. Eine Bereitstellung ist ein Satz erforderlicher Ressourcen für das Hosting der Ressource, welche die eigentliche Arbeit leistet.

1. Erstellen Sie einen Computecluster. Batchendpunkte und Batchbereitstellungen werden auf Computeclustern ausgeführt. Sie können auf jedem Azure Machine Learning-Computecluster ausgeführt werden, der im Arbeitsbereich bereits vorhanden ist. Daher können mehrere Batchbereitstellungen dieselbe Computeinfrastruktur gemeinsam nutzen. In diesem Beispiel arbeiten wir auf einem Azure Machine Learning-Computecluster namens batch-cluster. Lassen Sie uns überprüfen, ob die Computeinfrastruktur im Arbeitsbereich vorhanden ist. Wenn nicht, werden wir sie erstellen.

   Azure-Befehlszeilenschnittstelle

   az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5
   

   Python

   compute_name = "batch-cluster"
   if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
       compute_cluster = AmlCompute(
           name=compute_name,
           description="Batch endpoints compute cluster",
           min_instances=0,
           max_instances=5,
       )
       ml_client.begin_create_or_update(compute_cluster).result()

2. Konfigurieren der Bereitstellung:

   Azure-Befehlszeilenschnittstelle

   Die deployment.yml-Datei enthält die Konfiguration der Bereitstellung. Sie können das vollständige YAML-Schema des Batchendpunkts auf zusätzliche Eigenschaften überprüfen.

   deployment.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-dpl
   endpoint_name: hello-pipeline-batch
   type: pipeline
   component: azureml:hello_batch@latest
   settings:
       default_compute: batch-cluster
   

   Python

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-dpl",
       description="A hello world deployment with a single step.",
       endpoint_name=endpoint.name,
       component=hello_batch,
       settings={"continue_on_step_failure": False, "default_compute": compute_name},
   )

3. Erstellen Sie die Bereitstellung:

   Azure-Befehlszeilenschnittstelle

   Führen Sie den folgenden Code aus, um eine Batchbereitstellung unter dem Batchendpunkt zu erstellen und diese als Standardbereitstellung festzulegen.

   az ml batch-deployment create --endpoint $ENDPOINT_NAME -f deployment.yml --set-default
   

   Tipp

   Beachten Sie die Verwendung des --set-default-Flags, um anzugeben, dass diese neue Bereitstellung jetzt die Standardeinstellung ist.

   Python

   Dieser Befehl startet die Bereitstellungserstellung und gibt eine Bestätigungsantwort zurück, während die Bereitstellungserstellung fortgesetzt wird.

   ml_client.batch_deployments.begin_create_or_update(deployment).result()

   Nach der Erstellung konfigurieren wir diese neue Bereitstellung als die Standardbereitstellung:

   endpoint = ml_client.batch_endpoints.get(endpoint_name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. Ihre Bereitstellung ist einsatzbereit.

Testen der Bereitstellung

Nachdem die Bereitstellung erstellt wurde, kann sie Aufträge empfangen. Sie können die Standardbereitstellung folgendermaßen aufrufen:

Azure-Befehlszeilenschnittstelle

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
)

Tipp

In diesem Beispiel verfügt die Pipeline über keine Eingaben oder Ausgaben. Wenn die Pipelinekomponente jedoch welche benötigt, können diese zum Aufrufzeitpunkt angegeben werden. Informationen dazu, wie Sie Ein- und Ausgaben angeben, finden Sie unter Erstellen von Aufträgen und Eingabedaten für Batchendpunkte oder im Tutorial Bereitstellen einer Pipeline zum Durchführen der Batchbewertung mit Vorverarbeitung (Vorschau).

Sie können den Fortschritt der Show überwachen und die Protokolle streamen, wie im Folgenden beschrieben:

Azure-Befehlszeilenschnittstelle

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(job.name)

Führen Sie den folgenden Code aus, um auf den Abschluss des Auftrags zu warten:

ml_client.jobs.stream(name=job.name)

Bereinigen von Ressourcen

Löschen Sie dann die zugehörigen Ressourcen aus dem Arbeitsbereich:

Azure-Befehlszeilenschnittstelle

Führen Sie den folgenden Code aus, um den Batchendpunkt und die zugrundeliegende Bereitstellung zu löschen. --yes wird verwendet, um den Löschvorgang zu bestätigen.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

Löschen Sie den Endpunkt:

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

(Optional) Löschen Sie den Compute, es sei denn, Sie möchten Ihren Computecluster mit späteren Bereitstellungen wiederverwenden.

Azure-Befehlszeilenschnittstelle

az ml compute delete -n batch-cluster

Python

ml_client.compute.begin_delete(name="batch-cluster")

Nächste Schritte

• Bereitstellen einer Trainingspipeline mit Batchendpunkten
• Bereitstellen einer Pipeline zum Durchführen der Batchbewertung mit Vorverarbeitung
• Erstellen von Batchendpunkten auf Basis von Pipelineaufträgen
• Erstellen von Aufträgen und Eingabedaten für Batchendpunkte
• Problembehandlung für Batchendpunkte