Mik azok az Azure Machine Learning végpontok (előzetes verzió)?

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatói szerződés nélkül érhető el, és éles számítási feladatokhoz nem ajánlott. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Megjegyzés

Ez a cikk a CLI v2 legújabb verzióját használja, amely nyilvános előzetes verzióban érhető el. A legújabb verzió frissítésével és telepítésével kapcsolatos útmutatásért tekintse meg a parancssori felület (v2) telepítésével és beállításával kapcsolatos dokumentumot.

Azure Machine Learning végpontok (előzetes verzió) használatával egyszerűsítheti a modellek valós idejű és kötegelt dedukciós üzembe helyezését. A végpontok egységes felületet biztosítanak a modelltelepítések számítási típusok közötti meghívásához és kezeléséhez.

Ebből a cikkből az alábbiakról tudhat meg többet:

  • Végpontok
  • Központi telepítés
  • Felügyelt online végpontok
  • Online Kubernetes-végpontok
  • Kötegelt következtetési végpontok

Mik azok a végpontok és üzemelő példányok (előzetes verzió)?

A gépi tanulási modell betanítása után üzembe kell helyeznie a modellt, hogy mások használhassák a dedukcióhoz. A Azure Machine Learning végpontok (előzetes verzió) és üzemelő példányok (előzetes verzió) használatával teheti meg.

A végpont olyan HTTPS-végpont, amelyet az ügyfelek meghívhatnak, hogy megkapják a betanított modell következtetési (pontozási) kimenetét. Az alábbiakat biztosítja:

  • Hitelesítés "kulcstoken & " alapú hitelesítéssel
  • SSL leállítása
  • Stabil pontozási URI (endpoint-name.region.inference.ml.azure.com)

Az üzembe helyezés a modell üzemeltetéséhez szükséges erőforrások készlete, amely elvégzi a tényleges következtetést.

Egyetlen végpont több üzembe helyezést is tartalmazhat. A végpontok és üzemelő példányok független Azure Resource Manager-erőforrások, amelyek a Azure Portal jelennek meg.

Azure Machine Learning a végpontok és üzemelő példányok fogalmát használja a végpontok különböző típusainak implementálásához: online végpontok és kötegelt végpontok.

Több fejlesztői felület

Kötegelt és online végpontok létrehozása és kezelése több fejlesztői eszközzel:

  • Azure CLI
  • Azure Resource Manager/REST API
  • Azure Machine Learning stúdió webportál
  • Azure Portal (it/rendszergazda)
  • CI/CD MLOps-folyamatok támogatása az Azure CLI-felület & REST/ARM interfészeinek használatával

Mik azok az online végpontok (előzetes verzió)?

Az online végpontok (előzetes verzió) az online (valós idejű) következtetéshez használt végpontok. A kötegelt végpontokhoz képest az online végpontok olyan üzemelő példányokat tartalmaznak, amelyek készen állnak az ügyfelektől érkező adatok fogadására, és valós időben küldhetnek vissza válaszokat.

Az alábbi ábrán egy online végpont látható, amely két üzembe helyezéssel rendelkezik: "kék" és "zöld". A kék üzembe helyezés cpu-termékváltozattal rendelkező virtuális gépeket használ, és egy modell 1-es verziójának futtatását végzi. A zöld üzembe helyezés GPU-termékváltozattal rendelkező virtuális gépeket használ, és a modell 2-ét használja. A végpont úgy van konfigurálva, hogy a bejövő forgalom 90%-át átirányítsa a kék üzemelő példányra, míg a zöld megkapja a fennmaradó 10%-ot.

Diagram showing an endpoint splitting traffic to two deployments

Online üzembe helyezési követelmények

Online végpont létrehozásához a következő elemeket kell megadnia:

  • Modellfájlok (vagy adjon meg egy regisztrált modellt a munkaterületen)
  • Pontozószkript – a pontozáshoz/következtetéshez szükséges kód
  • Környezet – Docker-rendszerkép Conda-függőségekkel vagy egy Docker-fájl
  • Számítási példány & skálázási beállításai

Megtudhatja, hogyan helyezhet üzembe online végpontokat a parancssori felületről és a Studio webportáljáról.

Helyi tesztelés és üzembe helyezés a gyorsabb hibakeresés érdekében

Helyi üzembe helyezés a végpontok teszteléséhez a felhőben való üzembe helyezés nélkül. Azure Machine Learning létrehoz egy helyi Docker-rendszerképet, amely az Azure ML rendszerképet utánozza. Azure Machine Learning helyileg hoz létre és futtat üzembe helyezéseket, és gyorsítótárazza a rendszerképet a gyors iterációkhoz.

Natív kék/zöld üzembe helyezés

Ne feledje, hogy egyetlen végpont több üzembe helyezéssel is rendelkezhet. Az online végpont terheléselosztást végezhet, hogy az egyes üzemelő példányok forgalmának bármely százalékát biztosítsa.

A forgalomfelosztással biztonságos kék/zöld üzembe helyezéseket végezhet a különböző példányok közötti kérések kiegyensúlyozásával.

Tipp

A kérések megkerülhetik a konfigurált forgalom terheléselosztását egy HTTP-fejléc beírásával azureml-model-deployment. Állítsa a fejléc értékét annak az üzemelő példánynak a nevére, amelyhez a kérést irányítani szeretné.

Screenshot showing slider interface to set traffic allocation between deployments

Ismerje meg, hogyan lehet biztonságosan üzembe helyezni az online végpontokat.

Alkalmazás-Elemzések integráció

Az összes online végpont integrálható az Application Elemzések szolgáltatással az SLA-k monitorozása és a problémák diagnosztizálása érdekében.

A felügyelt online végpontok azonban beépített integrációt is tartalmaznak az Azure Logs és az Azure Metrics szolgáltatással.

Biztonság

  • Hitelesítés: Kulcs- és Azure ML-jogkivonatok
  • Felügyelt identitás: Felhasználó által hozzárendelt és rendszer által hozzárendelt
  • Ssl alapértelmezés szerint a végponthíváshoz

Automatikus skálázás

Az automatikus skálázás automatikusan a megfelelő mennyiségű erőforrást futtatja az alkalmazás terhelésének kezeléséhez. A felügyelt végpontok támogatják az automatikus skálázást az Azure Monitor automatikus skálázási funkciójával való integrációval. Konfigurálhat metrikaalapú skálázást (például 70%-os processzorkihasználtságot >), ütemezésalapú skálázást (például csúcsidőre vonatkozó skálázási szabályokat) vagy egy kombinációt.

Screenshot showing that autoscale flexibly provides between min and max instances, depending on rules

Hibakeresés a Visual Studio Code-dal

Visual Studio Code lehetővé teszi a végpontok interaktív hibakeresését.

Screenshot of endpoint debugging in VSCode.

Felügyelt online végpontok és Kubernetes online végpontok (előzetes verzió)

Kétféle online végpont létezik: felügyelt online végpontok (előzetes verzió) és Kubernetes online végpontok (előzetes verzió). A felügyelt online végpontok segítenek a ML modellek kulcsrakész üzembe helyezésében. A felügyelt online végpontok skálázható, teljes körűen felügyelt módon működnek az Azure-ban a nagy teljesítményű CPU- és GPU-gépekkel. A felügyelt online végpontok gondoskodnak a modellek kiszolgálásáról, méretezéséről, biztonságáról és monitorozásáról, így nem kell foglalkozniuk a mögöttes infrastruktúra beállításával és kezelésével. A dokumentum fő példája felügyelt online végpontokat használ az üzembe helyezéshez.

Az alábbi táblázat a felügyelt online végpontok és a Kubernetes online végpontjai közötti fő különbségeket emeli ki.

Felügyelt online végpontok Online Kubernetes-végpontok
Javasolt felhasználók Felügyelt modell üzembe helyezését és továbbfejlesztett MLOps-funkciókat igénylő felhasználók A Kubernetest előnyben részesítő és az infrastruktúra-követelmények önálló kezelésére képes felhasználók
Infrastruktúra-kezelés Felügyelt számítás kiépítése, skálázás, a gazdagép operációsrendszer-képének frissítései és a biztonság megerősítése Felhasználói felelősség
Számítási típus Felügyelt (AmlCompute) Kubernetes-fürt (Kubernetes)
Használatra kész monitorozás Azure Monitoring
(tartalmazza a fő mérőszámokat, például a késést és az átviteli sebességet)
Nem támogatott
Használatra kész naplózás Azure-naplók és Log Analytics végpontszinten Támogatott
Application Insights Támogatott Támogatott
Kezelt identitás Támogatott Támogatott
Virtuális hálózat (VNet) Még nem támogatott (dolgozunk rajta) Támogatott
Költségek megtekintése Végponti és üzembehelyezési szint Fürtszint

Felügyelt online végpontok

A felügyelt online végpontok segíthetnek leegyszerűsíteni az üzembe helyezési folyamatot. A felügyelt online végpontok a következő előnyöket biztosítják a Kubernetes online végpontjaival szemben:

  • Felügyelt infrastruktúra

    • Automatikusan kiépíti a számítást, és üzemelteti a modellt (csak meg kell adnia a virtuális gép típusát és méretezési beállításait)
    • A mögöttes gazdagép operációs rendszerének automatikus frissítése és javítása
    • Automatikus csomópont-helyreállítás rendszerhiba esetén
  • Figyelés és naplók

    • A modell rendelkezésre állásának, teljesítményének és SLA-jának monitorozása az Azure Monitor natív integrációjával.
    • Az üzemelő példányok hibakeresése a naplók és az Azure Log Analytics natív integrációjával.

    Screenshot showing Azure Monitor graph of endpoint latency

  • Költségek megtekintése

    Screenshot cost chart of an endpoint and deployment

Részletes oktatóanyagért tekintse meg az online végpontok üzembe helyezését ismertető témakört.

Mik azok a Batch-végpontok (előzetes verzió)?

A Batch-végpontok (előzetes verzió) olyan végpontok, amelyek nagy mennyiségű adat kötegelt következtetésére szolgálnak egy adott időszakban. A Batch-végpontok mutatókat kapnak az adatokhoz, és aszinkron módon futtatják a feladatokat, hogy párhuzamosan dolgozzák fel az adatokat a számítási fürtökön. A Batch-végpontok a kimeneteket egy adattárban tárolják további elemzés céljából.

Diagram showing that a single batch endpoint may route requests to multiple deployments, one of which is the default.

A Batch üzembehelyezési követelményei

Kötegelt üzemelő példány létrehozásához a következő elemeket kell megadnia:

  • Modellfájlok (vagy adjon meg egy regisztrált modellt a munkaterületen)
  • Compute
  • Pontozószkript – a pontozáshoz/következtetéshez szükséges kód
  • Környezet – Docker-rendszerkép Conda-függőségekkel

MLFlow-modellek üzembe helyezésekor nem kell pontozó szkriptet és végrehajtási környezetet biztosítani, mivel mindkettő automatikusan létrejön.

Megtudhatja, hogyan helyezhet üzembe és használhat kötegelt végpontokat az Azure CLI-vel és a Studio webportállal

Felügyelt költség automatikus skálázási számítással

A kötegvégpont meghívása aszinkron kötegelt következtetési feladatot indít el. A számítási erőforrások a feladat indításakor automatikusan ki lesznek építve, és a feladat befejezésekor automatikusan ki lesznek osztva. Így csak akkor kell fizetnie a számításért, ha használja.

Felülbírálhatja a számítási erőforrások beállításait (például a példányok számát) és a speciális beállításokat (például a minimális kötegméretet, a hibaküszöböt stb.) minden egyes kötegelt következtetési feladathoz, hogy felgyorsítsa a végrehajtást és csökkentse a költségeket.

Rugalmas adatforrások és tárolás

Kötegelt végpontok meghívásakor a következő beállítások használhatók bemeneti adatokhoz:

Adja meg a tár kimeneti helyét bármely adattárhoz és elérési úthoz. Alapértelmezés szerint a kötegelt végpontok a kimenetüket a munkaterület alapértelmezett blobtárolójában tárolják, a feladat neve (egy rendszer által generált GUID) szerint rendezve.

Biztonság

  • Hitelesítés: Azure Active Directory tokenek
  • SSL alapértelmezés szerint a végpontok meghívásához

Következő lépések