Online végpont automatikus skálázása

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Az automatikus skálázás automatikusan a megfelelő mennyiségű erőforrást futtatja az alkalmazásra háruló terhelés kezeléséhez. Az online végpontok az automatikus skálázást az Azure Monitor automatikus skálázási funkciójával való integrációval támogatják.

Az Azure Monitor automatikus skálázása számos szabályt támogat. Konfigurálhat metrikákon alapuló skálázást (például 70%-os processzorkihasználtságot >), ütemezésalapú skálázást (például a csúcsidőre vonatkozó skálázási szabályokat) vagy egy kombinációt. További információ: Az automatikus skálázás áttekintése a Microsoft Azure-ban.

Ma az automatikus skálázást az Azure CLI, a REST, az ARM vagy a böngészőalapú Azure Portal használatával kezelheti. Más Azure Machine-Tanulás SDK-k, például a Python SDK idővel támogatást nyújtanak.

Előfeltételek

• Üzembe helyezett végpont. Gépi tanulási modell üzembe helyezése és pontszáma online végpont használatával.
• Az automatikus skálázás használatához a szerepkört microsoft.insights/autoscalesettings/write hozzá kell rendelni az automatikus skálázást kezelő identitáshoz. Bármilyen beépített vagy egyéni szerepkört használhat, amely engedélyezi ezt a műveletet. Az Azure Machine Tanulás szerepköreinek kezelésével kapcsolatos általános útmutatásért lásd: Felhasználók és szerepkörök kezelése. Az Azure Monitor automatikus skálázási beállításairól a Microsoft.Elemzések automatikus skálázási beállítások című témakörben olvashat bővebben.

Automatikus skálázási profil meghatározása

Egy végpont automatikus skálázásának engedélyezéséhez először meg kell határoznia egy automatikus skálázási profilt. Ez a profil határozza meg a méretezési csoport alapértelmezett, minimális és maximális kapacitását. Az alábbi példa az alapértelmezett és minimális kapacitást két virtuálisgép-példányként, a maximális kapacitást pedig ötként állítja be:

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

A következő kódrészlet állítja be a végpont és az üzembe helyezés nevét:

# set your existing endpoint name
ENDPOINT_NAME=your-endpoint-name
DEPLOYMENT_NAME=blue

Ezután kérje le az üzembe helyezés és a végpont Azure Resource Manager-azonosítóját:

# ARM id of the deployment
DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
# ARM id of the deployment. todo: change to --query "id"
ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
# set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`

Az alábbi kódrészlet hozza létre az automatikus méretezési profilt:

az monitor autoscale create \
  --name $AUTOSCALE_SETTINGS_NAME \
  --resource $DEPLOYMENT_RESOURCE_ID \
  --min-count 2 --max-count 5 --count 2

Feljegyzés

További információkért tekintse meg az automatikus skálázás referenciaoldalát

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Modulok importálása:

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
from azure.mgmt.monitor import MonitorManagementClient
from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
import random 
import datetime 

Változók definiálása a munkaterülethez, végponthoz és üzembe helyezéshez:

subscription_id = "<YOUR-SUBSCRIPTION-ID>"
resource_group = "<YOUR-RESOURCE-GROUP>"
workspace = "<YOUR-WORKSPACE>"

endpoint_name = "<YOUR-ENDPOINT-NAME>"
deployment_name = "blue"

Azure Machine Tanulás és Azure Monitor-ügyfelek lekérése:

credential = DefaultAzureCredential()
ml_client = MLClient(
    credential, subscription_id, resource_group, workspace
)

mon_client = MonitorManagementClient(
    credential, subscription_id
)

A végpont és az üzembehelyezési objektumok lekérése:

deployment = ml_client.online_deployments.get(
    deployment_name, endpoint_name
)

endpoint = ml_client.online_endpoints.get(
    endpoint_name
)

Automatikus méretezési profil létrehozása:

# Set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = []
            )
        ]
    }
)

Studio

Az Azure Machine Tanulás Studióban válassza ki a munkaterületet, majd a lap bal oldalán válassza a Végpontok lehetőséget. A végpontok listázása után válassza ki a konfigurálni kívánt végpontot.

A végpont Részletek lapján válassza az Automatikus skálázás konfigurálása lehetőséget.

A Konfiguráció megkezdéséhez válassza az Egyéni automatikus skálázás lehetőséget az Erőforrások méretezése csoportban. Az alapértelmezett méretezési feltételhez használja a következő értékeket:

• Méretezési módbeállítása metrika alapján skálázásra.
• Állítsa a minimumot 2-re.
• Állítsa a Maximum 5 értékre.
• Állítsa az alapértelmezett értéket 2 értékre.

Szabály létrehozása a metrikák használatával történő felskálázáshoz

Gyakori horizontális felskálázási szabály az, amely növeli a virtuálisgép-példányok számát, ha az átlagos processzorterhelés magas. Az alábbi példa két további csomópontot foglal le (a maximális értékig), ha a processzor átlagos terhelése 70%-nál nagyobb öt percig:

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

A szabály a my-scale-settings profil része (autoscale-name megegyezik a name profillal). Az argumentum értéke condition szerint a szabálynak akkor kell aktiválnia, ha "A virtuálisgép-példányok átlagos processzorhasználata öt percig meghaladja a 70%-ot." Ha ez a feltétel teljesül, két további virtuálisgép-példány lesz lefoglalva.

Feljegyzés

A parancssori felület szintaxisával kapcsolatos további információkért lásd: az monitor autoscale.

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Hozza létre a szabálydefiníciót:

rule_scale_out = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="CpuUtilizationPercentage",
        metric_resource_uri = deployment.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "GreaterThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 70
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 2, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

Ez a szabály az argumentumok metric_nameutolsó 5 perces átlagára CPUUtilizationpercentage vonatkozik, time_window és time_aggregation. Ha a metrika értéke nagyobb, mint a threshold 70, két további virtuálisgép-példány lesz lefoglalva.

Frissítse a profilt úgy my-scale-settings , hogy tartalmazza ezt a szabályt:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out
                ]
            )
        ]
    }
)

Studio

A Szabályok szakaszban válassza a Szabály hozzáadása lehetőséget. Megjelenik a Méretezési szabály lap. A következő információk segítségével töltse ki a mezőket ezen a lapon:

• Állítsa be a metrika nevét a CPU-kihasználtság százalékos értékére.
• Állítsa az operátort a Nagyobb értékre, és állítsa a metrika küszöbértékét 70-re.
• Állítsa az időtartamot (perc) 5-re. Hagyja meg az időfelbontási statisztikákat átlagként.
• Állítsa be a műveletet a darabszám növeléséhez, és állítsa a példányok számát 2-re.

Végül válassza a Hozzáadás gombot a szabály létrehozásához.

Szabály létrehozása metrikák használatával történő méretezéshez

Ha a terhelés könnyű, a szabály skálázása csökkentheti a virtuálisgép-példányok számát. Az alábbi példa egy csomópontot bocsát ki legalább 2-es értékre, ha a cpu terhelése 5 percig 30%-nál kisebb:

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Hozza létre a szabálydefiníciót:

rule_scale_in = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="CpuUtilizationPercentage",
        metric_resource_uri = deployment.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "LessThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 30
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 1, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

Frissítse a profilt úgy my-scale-settings , hogy tartalmazza ezt a szabályt:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out, 
                    rule_scale_in
                ]
            )
        ]
    }
)

Studio

A Szabályok szakaszban válassza a Szabály hozzáadása lehetőséget. Megjelenik a Méretezési szabály lap. A következő információk segítségével töltse ki a mezőket ezen a lapon:

• Állítsa be a metrika nevét a CPU-kihasználtság százalékos értékére.
• Állítsa az operátort 30-nál kisebbre, a metrika küszöbértékét pedig 30-ra.
• Állítsa az időtartamot (perc) 5-re.
• Állítsa be a műveletet a darabszám csökkentése 1 értékre, és állítsa a példányok számát 1 értékre.

Végül válassza a Hozzáadás gombot a szabály létrehozásához.

Ha a szabályok vertikális felskálázása és skálázása is van, a szabályok az alábbi képernyőképhez hasonlóan fognak kinézni. Megadta, hogy ha az átlagos processzorterhelés 5 percig meghaladja a 70%-ot, további 2 csomópontot kell lefoglalni az 5-ös korlátig. Ha a CPU-terhelés 5 percig kevesebb, mint 30%, egyetlen csomópontot kell felszabadítani, legalább 2-ig.

Skálázási szabály létrehozása végpontmetrikák alapján

Az üzembe helyezésre alkalmazott korábbi szabályok. Most adjon hozzá egy, a végpontra vonatkozó szabályt. Ebben a példában, ha a kérés késése 5 percig átlagosan 70 ezredmásodpercnél nagyobb, foglaljon le egy másik csomópontot.

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Hozza létre a szabálydefiníciót:

rule_scale_out_endpoint = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="RequestLatency",
        metric_resource_uri = endpoint.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "GreaterThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 70
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 1, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

A szabály mezője metric_resource_uri most már a végpontra hivatkozik, nem pedig az üzembe helyezésre.

Frissítse a profilt úgy my-scale-settings , hogy tartalmazza ezt a szabályt:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out, 
                    rule_scale_in,
                    rule_scale_out_endpoint
                ]
            )
        ]
    }
)

Studio

A lap alján válassza a + Méretezési feltétel hozzáadása lehetőséget.

Válassza a Metrika alapján a Méretezés lehetőséget, majd válassza a Szabály hozzáadása lehetőséget. Megjelenik a Méretezési szabály lap. A következő információk segítségével töltse ki a mezőket ezen a lapon:

• Metrikaforrás beállítása Más erőforrásra.
• Állítsa be az erőforrástípust gépi Tanulás online végpontokra.
• Állítsa be az erőforrást a végpontra.
• Állítsa be a metrika nevét késés kérésére.
• Állítsa az operátort a Nagyobb értékre, és állítsa a metrika küszöbértékét 70-re.
• Állítsa az időtartamot (perc) 5-re.
• A művelet beállítása a darabszám növeléséhez és a példányok számának 1 értékre történő beállításához

Méretezési szabályok létrehozása ütemezés alapján

Olyan szabályokat is létrehozhat, amelyek csak bizonyos napokon vagy bizonyos időpontokban érvényesek. Ebben a példában a csomópontok száma hétvégén 2-re van állítva.

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Studio

A lap alján válassza a + Méretezési feltétel hozzáadása lehetőséget. Az új méretezési feltételnél használja a következő információkat a mezők kitöltéséhez:

• Válassza a Skálázás egy adott példányszámra lehetőséget.
• Állítsa be a Példányszám értékét 2-re.
• Állítsa be az ütemezést adott napok ismétlésére.
• Állítsa be az ütemezést úgy, hogy mindenszombaton és vasárnap ismétlődjön.

Automatikus skálázás engedélyezése vagy letiltása

Engedélyezheti vagy letilthatja az automatikus skálázási profilokat.

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

Studio

Az automatikus méretezési profil letiltásához egyszerűen válassza a "Manuális méretezés" és a Mentés lehetőséget. Az automatikus skálázási profil engedélyezéséhez egyszerűen válassza az "Egyéni automatikus skálázás" lehetőséget. Ha korábban már hozzáadta az automatikus skálázási profilt, az alábbiakban láthatja őket. Az engedélyezéshez kattintson a Mentés gombra.

Erőforrások törlése

Ha nem fogja használni az üzemelő példányokat, törölje őket:

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

Studio

1. Lépjen az Azure Machine Tanulás studióba.
2. A bal oldali navigációs sávon válassza a Végpontok lapot.
3. Válasszon ki egy végpontot a modell neve melletti kör ellenőrzésével.
4. Válassza a Törlés lehetőséget.

Másik lehetőségként törölheti a felügyelt online végpontokat közvetlenül a végpont részletei lapon.

Következő lépések

Az Azure Monitor automatikus skálázásával kapcsolatos további információkért tekintse meg az alábbi cikkeket:

• Az automatikus méretezési beállítások ismertetése
• Gyakori automatikus méretezési minták áttekintése
• Ajánlott eljárások az automatikus skálázáshoz
• Az Azure automatikus skálázási hibáinak elhárítása