Přizpůsobení výstupů v dávkových nasazeních

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

Tato příručka vysvětluje, jak vytvořit nasazení, která generují vlastní výstupy a soubory. Někdy potřebujete větší kontrolu nad tím, co se zapisuje jako výstup z dávkových úloh odvozovat. Mezi tyto případy patří následující situace:

• Potřebujete řídit, jak se predikce zapisují ve výstupu. Pokud jsou například data tabulková, chcete k původním datům připojit předpověď.
• Predikce musíte zapsat v jiném formátu souboru, než je to, které podporuje dávkové nasazení.
• Váš model je generativní model, který nemůže napsat výstup v tabulkovém formátu. Například modely, které vytvářejí obrázky jako výstupy.
• Váš model vytváří více tabulkových souborů místo jednoho souboru. Například modely, které provádějí prognózy zvážením více scénářů.

Nasazení batch umožňují převzít kontrolu nad výstupem úloh tím, že vám umožní zapisovat přímo do výstupu úlohy dávkového nasazení. V tomto kurzu se dozvíte, jak nasadit model pro provedení dávkového odvozování a zápis výstupů ve formátu parquet připojením předpovědí k původním vstupním datům.

O této ukázce

Tento příklad ukazuje, jak můžete nasadit model pro provedení dávkového odvozování a přizpůsobení způsobu zápisu předpovědí ve výstupu. Model je založený na datové sadě UCI Heart Disease. Databáze obsahuje 76 atributů, ale tento příklad používá podmnožinu 14 z nich. Model se snaží předpovědět přítomnost onemocnění srdce u pacienta. Hodnota integer je od 0 (bez přítomnosti) na 1 (přítomnost).

Model byl vytrénován pomocí XGBBoost klasifikátoru a veškeré požadované předběžné zpracování bylo zabaleno jako scikit-learn kanál, takže tento model představuje kompletní kanál, který přechází z nezpracovaných dat na predikce.

Příklad v tomto článku vychází z ukázek kódu obsažených v úložišti azureml-examples . Pokud chcete příkazy spustit místně, aniž byste museli kopírovat nebo vkládat YAML a další soubory, nejprve naklonujte úložiště a pak změňte adresáře do složky:

Azure CLI

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Soubory pro tento příklad jsou v:

cd endpoints/batch/deploy-models/custom-outputs-parquet

Sledování v poznámkovém bloku Jupyter

K tomuto příkladu můžete použít poznámkový blok Jupyter. V klonovaném úložišti otevřete poznámkový blok s názvem custom-output-batch.ipynb.

Požadavky

Než budete postupovat podle kroků v tomto článku, ujistěte se, že máte následující požadavky:

• Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet. Vyzkoušejte bezplatnou nebo placenou verzi služby Azure Machine Učení.

• Pracovní prostor služby Azure Machine Learning. Pokud ho nemáte, vytvořte ho pomocí kroků v článku Správa Učení pracovních prostorů Azure.

• Ujistěte se, že máte v pracovním prostoru následující oprávnění:

  • Vytváření nebo správa dávkových koncových bodů a nasazení: Použijte roli Vlastník, Přispěvatel nebo Vlastní, která umožňuje Microsoft.MachineLearningServices/workspaces/batchEndpoints/*.

  • Vytvořte nasazení ARM ve skupině prostředků pracovního prostoru: Použijte roli Vlastník, Přispěvatel nebo Vlastní, která umožňuje Microsoft.Resources/deployments/write ve skupině prostředků, ve které je pracovní prostor nasazený.

• Abyste mohli pracovat se službou Azure Machine Učení, musíte nainstalovat následující software:

  Azure CLI

  Azure CLI a mlrozšíření pro azure machine Učení.

  az extension add -n ml
  

  Poznámka:

  Nasazení součástí kanálu pro koncové body služby Batch byla zavedena ve verzi 2.7 ml rozšíření pro Azure CLI. Slouží az extension update --name ml k získání poslední verze.

  Python

  Sada Azure Machine Učení SDK pro Python

  pip install azure-ai-ml
  

  Poznámka:

  Třídy ModelBatchDeployment a PipelineComponentBatchDeployment byly zavedeny ve verzi 1.7.0 sady SDK. Slouží pip install -U azure-ai-ml k získání poslední verze.

Připojení k pracovnímu prostoru

Pracovní prostor je prostředek nejvyšší úrovně pro Azure Machine Learning, který nabízí centralizované místo, kde můžete pracovat se všemi artefakty, které vytvoříte při použití služby Azure Machine Learning. V této části se připojíme k pracovnímu prostoru, ve kterém budete provádět úlohy nasazení.

Azure CLI

Hodnoty ID předplatného, pracovního prostoru, umístění a skupiny prostředků předejte v následujícím kódu:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Import požadovaných knihoven:

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Nakonfigurujte podrobnosti pracovního prostoru a získejte popisovač pracovního prostoru:

   Hodnoty ID předplatného, pracovního prostoru a skupiny prostředků předejte v následujícím kódu:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Vytvoření dávkového nasazení s vlastním výstupem

V tomto příkladu vytvoříte nasazení, které může zapisovat přímo do výstupní složky úlohy dávkového nasazení. Nasazení používá tuto funkci k zápisu vlastních souborů parquet.

Registrace modelu

Registrované modely můžete nasadit pouze pomocí dávkového koncového bodu. V tomto případě už máte místní kopii modelu v úložišti, takže model je potřeba publikovat jenom do registru v pracovním prostoru. Tento krok můžete přeskočit, pokud už je model, který se pokoušíte nasadit, zaregistrovaný.

Azure CLI

MODEL_NAME='heart-classifier-sklpipe'
az ml model create --name $MODEL_NAME --type "custom_model" --path "model"

Python

model_name = "heart-classifier-sklpipe"
model_description = "A heart condition classifier trained with XGBoosts and Scikit-Learn for feature processing."
model_local_path = "model"

model = ml_client.models.create_or_update(
    Model(
        name=model_name,
        path=model_local_path,
        type=AssetTypes.CUSTOM_MODEL,
        tags={"framework": "scikit-learn", "estimator": "xgboost"},
    )
)

Vytvoření hodnoticího skriptu

Potřebujete vytvořit bodovací skript, který může číst vstupní data poskytnutá dávkovém nasazením a vracet skóre modelu. Také budete zapisovat přímo do výstupní složky úlohy. V souhrnu navrhovaný bodovací skript provede takto:

1. Přečte vstupní data jako soubory CSV.
2. Spustí funkci modelu predict MLflow na vstupní data.
3. Připojí předpovědi spolu pandas.DataFrame se vstupními daty.
4. Zapíše data do souboru pojmenovaného jako vstupní soubor, ale ve parquet formátu.

kód/batch_driver.py

import os
import pickle
import glob
import pandas as pd
from pathlib import Path
from typing import List


def init():
    global model
    global output_path

    # AZUREML_MODEL_DIR is an environment variable created during deployment
    # It is the path to the model folder
    # Please provide your model's folder name if there's one:
    output_path = os.environ["AZUREML_BI_OUTPUT_PATH"]
    model_path = os.environ["AZUREML_MODEL_DIR"]
    model_file = glob.glob(f"{model_path}/*/*.pkl")[-1]

    with open(model_file, "rb") as file:
        model = pickle.load(file)


def run(mini_batch: List[str]):
    for file_path in mini_batch:
        data = pd.read_csv(file_path)
        pred = model.predict(data)

        data["prediction"] = pred

        output_file_name = Path(file_path).stem
        output_file_path = os.path.join(output_path, output_file_name + ".parquet")
        data.to_parquet(output_file_path)

    return mini_batch

Poznámky:

• Všimněte si, jak se proměnná AZUREML_BI_OUTPUT_PATH prostředí používá k získání přístupu k výstupní cestě úlohy nasazení.
• Funkce init() naplní globální proměnnou, output_path která se dá použít později, abyste věděli, kde psát.
• Metoda run vrátí seznam zpracovaných souborů. Funkce musí run vrátit list objekt nebo pandas.DataFrame objekt.

Upozorňující

Vezměte v úvahu, že všechny dávkové exekutory mají přístup k zápisu do této cesty současně. To znamená, že potřebujete počítat s souběžností. V takovém případě zajistěte, aby každý exekutor zapisuje svůj vlastní soubor pomocí názvu vstupního souboru jako názvu výstupní složky.

Vytvoření koncového bodu

Teď vytvoříte dávkový koncový bod s názvem heart-classifier-batch , ve kterém je model nasazený.

1. Rozhodněte se o názvu koncového bodu. Název koncového bodu se zobrazí v identifikátoru URI přidruženém k vašemu koncovému bodu, takže názvy dávkových koncových bodů musí být jedinečné v rámci oblasti Azure. Například může existovat pouze jeden dávkový koncový bod s názvem mybatchendpoint v westus2.

   Azure CLI

   V tomto případě umístěte název koncového bodu do proměnné, abyste na něj později mohli snadno odkazovat.

   ENDPOINT_NAME="heart-classifier-custom"
   

   Python

   V tomto případě umístěte název koncového bodu do proměnné, abyste na něj později mohli snadno odkazovat.

   endpoint_name = "heart-classifier-custom"

2. Nakonfigurujte svůj dávkový koncový bod.

   Azure CLI

   Následující soubor YAML definuje dávkový koncový bod:

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: heart-classifier-batch
   description: A heart condition classifier for batch inference
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A heart condition classifier for batch inference",
   )

3. Vytvořte koncový bod:

   Azure CLI

   az ml batch-endpoint create -n $ENDPOINT_NAME -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

Vytvoření nasazení

Pomocí následujícího postupu vytvořte nasazení pomocí předchozího hodnoticího skriptu:

1. Nejprve vytvořte prostředí, ve kterém se dá spustit bodovací skript:

   Azure CLI

   Pro Azure Machine Učení CLI se nevyžaduje žádný další krok. Definice prostředí je součástí souboru nasazení.

   environment:
     name: batch-mlflow-xgboost
     image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
     conda_file: environment/conda.yaml
   

   Python

   Získejte odkaz na prostředí:

   environment = Environment(
       name="batch-mlflow-xgboost",
       conda_file="environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest",
   )

2. Vytvořte nasazení. Všimněte si, že output_action je nyní nastavena na SUMMARY_ONLYhodnotu .

   Poznámka:

   Tento příklad předpokládá, že máte výpočetní cluster s názvem batch-cluster. Odpovídajícím způsobem změňte tento název.

   Azure CLI

   Pokud chcete vytvořit nové nasazení v rámci vytvořeného koncového bodu, vytvořte konfiguraci YAML, jako je následující. Můžete zkontrolovat, jestli schéma YAML celého dávkového koncového bodu obsahuje další vlastnosti.

   $schema: https://azuremlschemas.azureedge.net/latest/modelBatchDeployment.schema.json
   endpoint_name: heart-classifier-batch
   name: classifier-xgboost-custom
   description: A heart condition classifier based on XGBoost and Scikit-Learn pipelines that append predictions on parquet files.
   type: model
   model: azureml:heart-classifier-sklpipe@latest
   environment:
     name: batch-mlflow-xgboost
     image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
     conda_file: environment/conda.yaml
   code_configuration:
     code: code
     scoring_script: batch_driver.py
   compute: azureml:batch-cluster
   resources:
     instance_count: 2
   settings:
     max_concurrency_per_instance: 2
     mini_batch_size: 2
     output_action: summary_only
     retry_settings:
       max_retries: 3
       timeout: 300
     error_threshold: -1
     logging_level: info
   

   Pak vytvořte nasazení pomocí následujícího příkazu:

   az ml batch-deployment create --file deployment.yml --endpoint-name $ENDPOINT_NAME --set-default
   

   Python

   Pokud chcete vytvořit nové nasazení v rámci vytvořeného koncového bodu, použijte následující skript:

   deployment = ModelBatchDeployment(
       name="classifier-xgboost-custom",
       description="A heart condition classifier based on XGBoost which writes outputs in parquet format.",
       endpoint_name=endpoint.name,
       model=model,
       environment=environment,
       code_configuration=CodeConfiguration(
           code="code",
           scoring_script="batch_driver.py",
       ),
       compute=compute_name,
       settings=ModelBatchDeploymentSettings(
           mini_batch_size=2,
           instance_count=2,
           max_concurrency_per_instance=2,
           output_action=BatchDeploymentOutputAction.SUMMARY_ONLY,
           retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
           logging_level="info",
       ),
   )

   Pak vytvořte nasazení pomocí následujícího příkazu:

   ml_client.batch_deployments.begin_create_or_update(deployment).result()

3. V tuto chvíli je náš dávkový koncový bod připravený k použití.

Otestování nasazení

K otestování koncového bodu použijte ukázku neoznačeného dat umístěného v tomto úložišti, která se dají použít s modelem. Koncové body služby Batch můžou zpracovávat pouze data, která jsou umístěná v cloudu a jsou přístupná z pracovního prostoru Azure Machine Učení. V tomto příkladu ho nahrajete do počítače Azure Učení úložiště dat. Vytvoříte datový asset, který můžete použít k vyvolání koncového bodu pro bodování. Všimněte si však, že dávkové koncové body přijímají data, která lze umístit do více typů umístění.

1. Vyvolání koncového bodu s daty z účtu úložiště:

   Azure CLI

   JOB_NAME = $(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data --query name -o tsv)
   

   Poznámka:

   jq Nástroj nemusí být nainstalován v každé instalaci. Pokyny najdete na GitHubu.

   Python

   Tip

   Jaký je rozdíl mezi inputs koncovým bodem a input při vyvolání koncového bodu?

   Obecně můžete pomocí slovníku inputs = {}invoke s metodou poskytnout libovolný počet požadovaných vstupů do dávkového koncového bodu, který obsahuje nasazení modelu nebo nasazení kanálu.

   Pro nasazení modelu můžete použít input kratší způsob, jak určit umístění vstupních dat pro nasazení, protože nasazení modelu vždy přijímá pouze jeden vstup dat.

   Nakonfigurujte vstupy:

   input = Input(
       type=AssetTypes.URI_FOLDER,
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data",
   )

   Vytvoření úlohy:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name, deployment_name=deployment.name, input=input
   )

2. Dávková úloha se spustí hned po vrácení příkazu. Stav úlohy můžete monitorovat, dokud se nedokončí:

   Azure CLI

   az ml job show -n $JOB_NAME --web
   

   Python

   ml_client.jobs.get(job.name)

Analýza výstupů

Úloha vygeneruje pojmenovaný výstup, který se nazývá score umístění všech vygenerovaných souborů. Vzhledem k tomu, že jste do adresáře napsali přímo, jeden soubor na každý vstupní soubor, můžete očekávat, že bude mít stejný počet souborů. V tomto konkrétním příkladu pojmenujte výstupní soubory stejně jako vstupy, ale mají příponu parquet.

Poznámka:

Všimněte si, že výstupní složka obsahuje také soubor predictions.csv . Tento soubor obsahuje souhrn zpracovaných souborů.

Výsledky úlohy si můžete stáhnout pomocí názvu úlohy:

Azure CLI

K stažení předpovědí použijte následující příkaz:

az ml job download --name $JOB_NAME --output-name score --download-path ./

Python

ml_client.jobs.download(name=scoring_job.name, download_path=".", output_name="score")

Jakmile se soubor stáhne, můžete ho otevřít pomocí oblíbeného nástroje. Následující příklad načte předpovědi pomocí Pandas datového rámce.

import pandas as pd
import glob

output_files = glob.glob("named-outputs/score/*.parquet")
score = pd.concat((pd.read_parquet(f) for f in output_files))
score

Výstup vypadá takto:

stáří	Sex	...	Thal	Předpověď
63	0	...	Dlouhodobého	0
67	0	...	Normální	0
67	0	...	Reverzibilní	0
37	0	...	Normální	0

Vyčištění prostředků

Azure CLI

Spuštěním následujícího kódu odstraňte koncový bod dávky a všechna podkladová nasazení. Úlohy dávkového vyhodnocování se neodstraní.

az ml batch-endpoint delete --name $ENDPOINT_NAME --yes

Python

Spuštěním následujícího kódu odstraňte koncový bod dávky a všechna podkladová nasazení. Úlohy dávkového vyhodnocování se neodstraní.

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

Související obsah

• Zpracování obrázků pomocí nasazení dávkového modelu
• Nasazení jazykových modelů v dávkových koncových bodech