Fouten in online-eindpunten lokaal opsporen in Visual Studio Code

Artikel
04/07/2024

VAN TOEPASSING OP:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Meer informatie over het gebruik van het foutopsporingsprogramma van Microsoft Visual Studio Code om online-eindpunten lokaal te testen en fouten op te sporen voordat u ze implementeert in Azure.

Met lokale Azure Machine Learning-eindpunten kunt u uw scorescript, omgevingsconfiguratie, codeconfiguratie en machine learning-model lokaal testen en fouten opsporen.

Belangrijk

Deze functie is momenteel beschikbaar als openbare preview-versie. Deze preview-versie wordt geleverd zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt.

Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

Fouten opsporen in eindpunten lokaal voordat u ze implementeert in de cloud, kan u helpen fouten in uw code en configuratie eerder te ondervangen. U hebt verschillende opties voor het lokaal opsporen van fouten in eindpunten met Visual Studio Code.

HTTP-server voor azure Machine Learning-deductie
Lokaal eindpunt

Deze handleiding is gericht op lokale eindpunten.

De volgende tabel bevat een overzicht van scenario's waarmee u kunt kiezen wat het beste voor u werkt.

Scenario	HTTP-server voor deductie	Lokaal eindpunt
Lokale Python-omgeving bijwerken, zonder opnieuw opbouwen van Docker-installatiekopieën	Ja	Nr.
Scorescript bijwerken	Ja	Ja
Implementatieconfiguraties bijwerken (implementatie, omgeving, code, model)	Nr.	Ja
Integratie van visual Studio Code-foutopsporingsprogramma	Ja	Ja

In deze handleiding wordt ervan uitgegaan dat u de volgende items lokaal op uw pc hebt geïnstalleerd.

Zie de handleiding voor het voorbereiden van uw systeem voor het implementeren van online-eindpunten voor meer informatie.

De voorbeelden in dit artikel zijn gebaseerd op codevoorbeelden in de GitHub-opslagplaats azureml-examples . Als u de opdrachten lokaal wilt uitvoeren zonder YAML en andere bestanden te hoeven kopiëren/plakken, kloont u de opslagplaats en wijzigt u vervolgens mappen in azureml-examples/cli:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Als u de standaardinstellingen voor de Azure CLI nog niet hebt ingesteld, slaat u de standaardinstellingen op. Gebruik de volgende opdrachten om te voorkomen dat de waarden voor uw abonnement, werkruimte en resourcegroep meerdere keren worden doorgegeven. Vervang de volgende parameters door waarden voor uw specifieke configuratie:

Vervang <subscription> door de id van uw Azure-abonnement.
Vervang door <workspace> de naam van uw Azure Machine Learning-werkruimte.
Vervang door <resource-group> de Azure-resourcegroep die uw werkruimte bevat.
Vervang door <location> de Azure-regio die uw werkruimte bevat.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Tip

U kunt zien wat de huidige standaardwaarden zijn met behulp van de az configure -l opdracht.

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

In deze handleiding wordt ervan uitgegaan dat u de volgende items lokaal op uw pc hebt geïnstalleerd.

Zie de handleiding voor het voorbereiden van uw systeem voor het implementeren van online-eindpunten voor meer informatie.

De voorbeelden in dit artikel vindt u in het Jupyter-notebook met de naam Debug online-eindpunten lokaal in Visual Studio Code in de opslagplaats azureml-examples . Als u de code lokaal wilt uitvoeren, kloont u de opslagplaats en wijzigt u vervolgens mappen in de bovenliggende directory-SDK /eindpunten/online/beheerd van het notebook.

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd sdk/python/endpoints/online/managed

Open het Jupyter-notebook en importeer de vereiste modules:

from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    ManagedOnlineEndpoint,
    ManagedOnlineDeployment,
    Model,
    CodeConfiguration,
    Environment,
)
from azure.identity import DefaultAzureCredential

Variabelen instellen voor de werkruimte en het eindpunt:

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

endpoint_name = "<ENDPOINT_NAME>"

Ontwikkelcontainer starten

Azure-CLI
Python

Lokale Azure Machine Learning-eindpunten maken gebruik van Docker- en Visual Studio Code-ontwikkelcontainers (dev-containers) om een lokale foutopsporingsomgeving te bouwen en te configureren. Met dev-containers kunt u gebruikmaken van Visual Studio Code-functies vanuit een Docker-container. Zie Een ontwikkelcontainer maken voor meer informatie over dev-containers.

Als u lokaal fouten wilt opsporen in online-eindpunten in Visual Studio Code, gebruikt u de vlag bij het --vscode-debug maken of bijwerken en online implementeren van Azure Machine Learning. De volgende opdracht maakt gebruik van een implementatievoorbeeld uit de voorbeeldenopslagplaats:

az ml online-deployment create --file endpoints/online/managed/sample/blue-deployment.yml --local --vscode-debug

Belangrijk

Op Windows-subsysteem voor Linux (WSL) moet u de omgevingsvariabele PATH bijwerken om het pad naar het uitvoerbare visual Studio Code-bestand op te nemen of WSL-interop te gebruiken. Zie Windows-interoperabiliteit met Linux voor meer informatie.

Een Docker-installatiekopie wordt lokaal gebouwd. Eventuele fouten in de omgevingsconfiguratie of modelbestand worden weergegeven in deze fase van het proces.

Notitie

De eerste keer dat u een nieuwe of bijgewerkte dev-container start, kan het enkele minuten duren.

Zodra de installatiekopieën zijn gemaakt, wordt uw dev-container geopend in een Visual Studio Code-venster.

U gebruikt enkele Visual Studio Code-extensies om fouten in uw implementaties in de dev-container op te sporen. Azure Machine Learning installeert deze extensies automatisch in uw dev-container.

Foutopsporing in deductie
Pylance
Jupyter
Python

Belangrijk

Voordat u de foutopsporingssessie start, moet u ervoor zorgen dat de Visual Studio Code-extensies zijn geïnstalleerd in uw dev-container.

Haal een ingang op voor de werkruimte:

credential = DefaultAzureCredential()
ml_client = MLClient(
    credential,
    subscription_id=subscription_id,
    resource_group_name=resource_group,
    workspace_name=workspace_name,
)

Als u lokaal fouten wilt opsporen in online-eindpunten in Visual Studio Code, stelt u de vscode-debug en local vlaggen in wanneer u een online-implementatie van Azure Machine Learning maakt of bijwerkt. Met de volgende code wordt een implementatievoorbeeld uit de voorbeeldenopslagplaats gespiegeld:

deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=Model(path="../model-1/model/sklearn_regression_model.pkl"),
    code_configuration=CodeConfiguration(
        code="../model-1/onlinescoring", scoring_script="score.py"
    ),
    environment=Environment(
        conda_file="../model-1/environment/conda.yaml",
        image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

deployment = ml_client.online_deployments.begin_create_or_update(
    deployment, local=True, vscode_debug=True
).result()

Belangrijk

Een Docker-installatiekopie wordt lokaal gebouwd. Eventuele fouten in de omgevingsconfiguratie of modelbestand worden weergegeven in deze fase van het proces.

Notitie

Het kan enkele minuten duren voordat een nieuwe of bijgewerkte dev-container voor het eerst wordt gestart.

Zodra de installatiekopieën zijn gemaakt, wordt uw dev-container geopend in een Visual Studio Code-venster.

U gebruikt enkele Visual Studio Code-extensies om fouten in uw implementaties in de dev-container op te sporen. Azure Machine Learning installeert deze extensies automatisch in uw dev-container.

Foutopsporing in deductie
Pylance
Jupyter
Python

Belangrijk

Voordat u de foutopsporingssessie start, moet u ervoor zorgen dat de Visual Studio Code-extensies zijn geïnstalleerd in uw dev-container.

Foutopsporingssessie starten

Zodra uw omgeving is ingesteld, gebruikt u het foutopsporingsprogramma van Visual Studio Code om uw implementatie lokaal te testen en fouten op te sporen.

Open uw scorescript in Visual Studio Code.

Tip

Het score.py script dat wordt gebruikt door het eindpunt dat eerder is geïmplementeerd, bevindt zich in azureml-samples/cli/endpoints/online/managed/sample/score.py in de opslagplaats die u hebt gekloond. De stappen in deze handleiding werken echter met een scorescript.
Stel een onderbrekingspunt in op een willekeurige plaats in uw scorescript.
- Als u opstartgedrag wilt opsporen, plaatst u uw onderbrekingspunten in de init functie.
- Als u fouten in scoregedrag wilt opsporen, plaatst u uw onderbrekingspunten in de run functie.
Selecteer de visual Studio Code-taakweergave.
Selecteer In de vervolgkeuzelijst Uitvoeren en fouten opsporen AzureML: Lokaal eindpunt opsporen om lokaal fouten in uw eindpunt op te sporen.

Controleer in de sectie Onderbrekingspunten van de weergave Uitvoeren of:
- Verhoogde uitzonderingen is uitgeschakeld
- Ondeugende uitzonderingen is ingeschakeld
Selecteer het afspeelpictogram naast de vervolgkeuzelijst Uitvoeren en foutopsporing om de foutopsporingssessie te starten.

Op dit moment worden eventuele onderbrekingspunten in uw init functie gevangen. Gebruik de foutopsporingsacties om uw code te doorlopen. Zie de gids voor foutopsporingsacties voor meer informatie over foutopsporingsacties.

Zie Foutopsporing in Visual Studio Code voor meer informatie over het foutopsporingsprogramma van Visual Studio Code.

Fouten opsporen in uw eindpunt

Azure-CLI
Python

Nu uw toepassing wordt uitgevoerd in het foutopsporingsprogramma, probeert u een voorspelling te doen om fouten in uw scorescript op te sporen.

Gebruik de ml extensieopdracht invoke om een aanvraag naar uw lokale eindpunt te verzenden.

az ml online-endpoint invoke --name <ENDPOINT-NAME> --request-file <REQUEST-FILE> --local

In dit geval <REQUEST-FILE> is dit een JSON-bestand dat invoergegevensvoorbeelden voor het model bevat om voorspellingen te doen op vergelijkbaar met de volgende JSON:

{"data": [
    [1,2,3,4,5,6,7,8,9,10], 
    [10,9,8,7,6,5,4,3,2,1]
]}

Tip

De score-URI is het adres waar uw eindpunt luistert naar aanvragen. Gebruik de ml extensie om de score-URI op te halen.

az ml online-endpoint show --name <ENDPOINT-NAME> --local

De uitvoer moet er als volgt uitzien:

{
 "auth_mode": "aml_token",
 "location": "local",
 "name": "my-new-endpoint",
 "properties": {},
 "provisioning_state": "Succeeded",
 "scoring_uri": "http://localhost:5001/score",
 "tags": {},
 "traffic": {},
 "type": "online"
}

De score-URI vindt u in de scoring_uri eigenschap.

Op dit moment worden eventuele onderbrekingspunten in uw run functie gevangen. Gebruik de foutopsporingsacties om uw code te doorlopen. Zie de gids voor foutopsporingsacties voor meer informatie over foutopsporingsacties.

Nu uw toepassing wordt uitgevoerd in het foutopsporingsprogramma, probeert u een voorspelling te doen om fouten in uw scorescript op te sporen.

Gebruik de invoke methode voor uw MLClient object om een aanvraag naar uw lokale eindpunt te verzenden.

endpoint = ml_client.online_endpoints.get(name=endpoint_name, local=True)

request_file_path = "../model-1/sample-request.json"

ml_client.online_endpoints.invoke(endpoint_name, request_file_path, local=True)

In dit geval <REQUEST-FILE> is dit een JSON-bestand dat invoergegevensvoorbeelden voor het model bevat om voorspellingen te doen op vergelijkbaar met de volgende JSON:

{"data": [
    [1,2,3,4,5,6,7,8,9,10], 
    [10,9,8,7,6,5,4,3,2,1]
]}

Tip

De score-URI is het adres waar uw eindpunt luistert naar aanvragen. De as_dict methode van eindpuntobjecten retourneert informatie die vergelijkbaar is met show in de Azure CLI. Het eindpuntobject kan worden verkregen via .get.

print(endpoint)

De uitvoer moet er als volgt uitzien:

{
 "auth_mode": "aml_token",
 "location": "local",
 "name": "my-new-endpoint",
 "properties": {},
 "provisioning_state": "Succeeded",
 "scoring_uri": "http://localhost:5001/score",
 "tags": {},
 "traffic": {},
 "type": "online"
}

De score-URI vindt u in de scoring_uri sleutel.

Uw eindpunt bewerken

Azure-CLI
Python

Tijdens het opsporen en oplossen van problemen met uw toepassing zijn er scenario's waarin u uw scorescript en configuraties moet bijwerken.

Ga als volgende te werk om wijzigingen toe te passen op uw code:

Werk uw code bij.
Start de foutopsporingssessie opnieuw met behulp van de Developer: Reload Window opdracht in het opdrachtenpalet. Zie de documentatie voor het opdrachtenpalet voor meer informatie.

Notitie

Omdat de map met uw code- en eindpuntassets is gekoppeld aan de dev-container, worden alle wijzigingen die u in de dev-container aanbrengt, gesynchroniseerd met uw lokale bestandssysteem.

Gebruik de ml extensieopdracht update voor uitgebreidere wijzigingen met betrekking tot updates voor uw omgeving en eindpuntconfiguratie. Hierdoor wordt een volledige installatiekopieën opnieuw opgebouwd met uw wijzigingen.

az ml online-deployment update --file <DEPLOYMENT-YAML-SPECIFICATION-FILE> --local --vscode-debug

Zodra de bijgewerkte installatiekopie is gemaakt en de ontwikkelcontainer wordt gestart, gebruikt u het foutopsporingsprogramma van Visual Studio Code om uw bijgewerkte eindpunt te testen en problemen op te lossen.

Tijdens het opsporen en oplossen van problemen met uw toepassing zijn er scenario's waarin u uw scorescript en configuraties moet bijwerken.

Ga als volgende te werk om wijzigingen toe te passen op uw code:

Werk uw code bij.
Start de foutopsporingssessie opnieuw met behulp van de Developer: Reload Window opdracht in het opdrachtenpalet. Zie de documentatie voor het opdrachtenpalet voor meer informatie.

Notitie

Omdat de map met uw code- en eindpuntassets is gekoppeld aan de dev-container, worden alle wijzigingen die u in de dev-container aanbrengt, gesynchroniseerd met uw lokale bestandssysteem.

Gebruik de module/methode van online_deployments.update uw MLClientmodule/methode voor uitgebreidere wijzigingen met betrekking tot updates voor uw omgeving en eindpuntconfiguratie. Hierdoor wordt een volledige installatiekopieën opnieuw opgebouwd met uw wijzigingen.

new_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=endpoint_name,
    model=Model(path="../model-2/model/sklearn_regression_model.pkl"),
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    environment=Environment(
        conda_file="../model-2/environment/conda.yaml",
        image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
    ),
    instance_type="Standard_DS3_v2",
    instance_count=2,
)

deployment = ml_client.online_deployments.begin_create_or_update(
    new_deployment, local=True, vscode_debug=True
).result()

Fouten in online-eindpunten lokaal opsporen in Visual Studio Code

Vereisten

Ontwikkelcontainer starten

Foutopsporingssessie starten

Fouten opsporen in uw eindpunt

Uw eindpunt bewerken

Gerelateerde inhoud

Aanvullende resources