Alacsony prioritású virtuális gépek használata kötegelt üzemelő példányokban

A KÖVETKEZŐKRE VONATKOZIK:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Azure Batch Üzemelő példányok támogatják az alacsony prioritású virtuális gépeket a kötegelt következtetési számítási feladatok költségeinek csökkentése érdekében. Az alacsony prioritású virtuális gépek nagy mennyiségű számítási teljesítményt tesznek lehetővé alacsony költségek esetén. Az alacsony prioritású virtuális gépek kihasználják a többletkapacitást az Azure-ban. Ha alacsony prioritású virtuális gépeket ad meg a készletekben, az Azure akkor használhatja ezt a többletet, ha elérhető.

A használatuk azzal a kompromisszumsal jár, hogy ezek a virtuális gépek nem mindig lesznek lefoglalhatók, vagy a rendelkezésre álló kapacitástól függően bármikor elővehetők. Ezért a legmegfelelőbbek kötegelt és aszinkron feldolgozási számítási feladatokhoz , ahol a feladat befejezési ideje rugalmas, és a munka sok virtuális gép között oszlik el.

Az alacsony prioritású virtuális gépeket a dedikált virtuális gépekhez képest jelentősen alacsonyabb áron kínáljuk. A díjszabás részleteiért lásd: Az Azure Machine Learning díjszabása.

A kötegelt üzembe helyezés működése alacsony prioritású virtuális gépekkel

Az Azure Machine Learning Batch üzemelő példányai számos olyan képességet biztosítanak, amelyek megkönnyítik a használatot, és kihasználják az alacsony prioritású virtuális gépek előnyeit:

• A kötegelt üzembehelyezési feladatok alacsony prioritású virtuális gépeket használnak, ha alacsony prioritású virtuális gépekkel létrehozott Azure Machine Learning számítási fürtökön futnak. Ha az üzembe helyezés egy alacsony prioritású virtuálisgép-fürthöz van társítva, az üzembe helyezés által létrehozott összes feladat alacsony prioritású virtuális gépeket fog használni. Feladatonkénti konfiguráció nem lehetséges.
• A Batch üzembehelyezési feladatai automatikusan megkeresik a rendelkezésre álló számítási fürtben lévő virtuális gépek célszámát az elküldendő tevékenységek száma alapján. Ha a virtuális gépek előre vannak telepítve vagy nem érhetők el, a kötegelt üzembehelyezési feladatok megpróbálják lecserélni az elveszett kapacitást a meghiúsult tevékenységek fürtre való várólistára helyezésével.
• Az alacsony prioritású virtuális gépek külön vCPU-kvótával rendelkeznek, amely eltér a dedikált virtuális gépekhez tartozótól. A régiónkénti alacsony prioritású magok alapértelmezett korlátja 100 és 3000 között van az előfizetési ajánlat típusának függvényében. Az előfizetésenkénti alacsony prioritású magok száma növelhető, és ugyanaz az érték vonatkozik minden virtuálisgép-családra. Lásd: Azure Machine Learning számítási kvóták.

Megfontolandó szempontok és használati esetek

Számos kötegelt számítási feladat jó választás alacsony prioritású virtuális gépekhez. Bár ez további végrehajtási késéseket eredményezhet a virtuális gépek felszabadításakor, a kapacitás esetleges csökkenését alacsonyabb költségek mellett is el lehet viselni, ha rugalmasan kell elvégezni a feladatokat.

A modellek kötegelt végpontok alatt történő üzembe helyezésekor az átütemezés a mini köteg szintjén végezhető el. Ez azzal a plusz előnnyel jár, hogy a felszabadítás csak azokat a minikötegeket érinti, amelyek jelenleg feldolgozás alatt állnak, és nem fejeződnek be az érintett csomóponton. Minden befejezett folyamat megmarad.

Kötegelt üzembe helyezések létrehozása alacsony prioritású virtuális gépekkel

A kötegelt üzembehelyezési feladatok alacsony prioritású virtuális gépeket használnak, ha alacsony prioritású virtuális gépekkel létrehozott Azure Machine Learning számítási fürtökön futnak.

Megjegyzés

Ha az üzembe helyezés egy alacsony prioritású virtuálisgép-fürthöz van társítva, az üzembe helyezés által létrehozott összes feladat alacsony prioritású virtuális gépeket fog használni. Feladatonkénti konfiguráció nem lehetséges.

Alacsony prioritású Azure Machine Learning számítási fürtöt az alábbiak szerint hozhat létre:

Azure CLI

Hozzon létre egy számítási definíciót YAML az alábbihoz hasonlóan:

low-pri-cluster.yml

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-cluster
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Hozza létre a számítást a következő paranccsal:

az ml compute create -f low-pri-cluster.yml

Python

Ha olyan új számítási fürtöt szeretne létrehozni alacsony prioritású virtuális gépekkel, ahol az üzembe helyezést létre szeretné hozni, használja a következő szkriptet:

compute_name = "low-pri-cluster"
compute_cluster = AmlCompute(
   name=compute_name, 
   description="Low priority compute cluster", 
   min_instances=0, 
   max_instances=2,
   tier='LowPriority'
)
 
ml_client.begin_create_or_update(compute_cluster)

Miután létrehozta az új számítást, létrehozhatja vagy frissítheti az üzemelő példányt az új fürt használatára:

Azure CLI

Ha az új számítási fürtben szeretne üzembe helyezést létrehozni vagy frissíteni, hozzon létre egy konfigurációt YAML az alábbihoz hasonlóan:

$schema: https://azuremlschemas.azureedge.net/latest/batchDeployment.schema.json
endpoint_name: heart-classifier-batch
name: classifier-xgboost
description: A heart condition classifier based on XGBoost
type: model
model: azureml:heart-classifier@latest
compute: azureml:low-pri-cluster
resources:
  instance_count: 2
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 2
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 300

Ezután hozza létre az üzembe helyezést a következő paranccsal:

az ml batch-endpoint create -f endpoint.yml

Python

Ha az új számítási fürtben szeretne üzembe helyezést létrehozni vagy frissíteni, használja a következő szkriptet:

deployment = ModelBatchDeployment(
    name="classifier-xgboost",
    description="A heart condition classifier based on XGBoost",
    endpoint_name=endpoint.name,
    model=model,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
      instance_count=2,
      max_concurrency_per_instance=2,
      mini_batch_size=2,
      output_action=BatchDeploymentOutputAction.APPEND_ROW,
      output_file_name="predictions.csv",
      retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
   )
)

ml_client.batch_deployments.begin_create_or_update(deployment)

Csomópont felszabadításának megtekintése és monitorozása

Új metrikák érhetők el az alacsony prioritású virtuális gépek Azure Portal az alacsony prioritású virtuális gépek monitorozásához. Ezek a metrikák a következők:

• Előre létrehozott csomópontok
• Előre meghatározott magok

A metrikák megtekintése a Azure Portal

1. Lépjen az Azure Machine Learning-munkaterületre a Azure Portal.
2. A Figyelés szakaszban válassza a Metrikák lehetőséget.
3. Válassza ki a kívánt metrikákat a Metrika listából.

Korlátozások

• Ha az üzembe helyezés egy alacsony prioritású virtuálisgép-fürthöz van társítva, az üzembe helyezés által létrehozott összes feladat alacsony prioritású virtuális gépeket fog használni. Feladatonkénti konfiguráció nem lehetséges.
• Az átütemezés a mini köteg szintjén történik, az előrehaladástól függetlenül. Nincs megadva ellenőrzőpont-funkció.

Figyelmeztetés

Azokban az esetekben, amikor a teljes fürt elő van telepítve (vagy egy csomópontos fürtön fut), a feladat megszakad, mivel nincs elérhető kapacitás a futtatásához. Ebben az esetben újraküldésre lesz szükség.