Online végpontok és üzembe helyezések valós idejű következtetéshez
ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)
Az Azure Machine Tanulás lehetővé teszi az adatok valós idejű következtetését az online végpontokon üzembe helyezett modellek használatával. A következtetés az új bemeneti adatok gépi tanulási modellre történő alkalmazásának folyamata kimenetek létrehozásához. Bár ezeket a kimeneteket általában "előrejelzéseknek" is nevezik, a következtetés más gépi tanulási feladatok, például besorolás és fürtözés kimeneteinek létrehozására használható.
Online végpontok
Az online végpontok olyan modelleket helyeznek üzembe egy webkiszolgálón, amely a HTTP protokoll alapján képes előrejelzéseket visszaadni. Online végpontok használatával valós idejű következtetési modelleket lehet üzembe helyezni szinkron kis késésű kérelmekben. Javasoljuk, hogy a következő esetekben használja őket:
- Alacsony késési követelményekkel rendelkezik
- A modell viszonylag rövid idő alatt válaszolhat a kérésre
- A modell bemenetei illeszkednek a kérelem HTTP-hasznos adataihoz
- Fel kell skálázni a kérelmek számát
Végpont definiálásához meg kell adnia a következőket:
- Végpont neve: Ennek a névnek egyedinek kell lennie az Azure-régióban. Az elnevezési szabályokkal kapcsolatos további információkért tekintse meg a végpontkorlátokat.
- Hitelesítési mód: Választhat a kulcsalapú hitelesítési mód és az Azure Machine Tanulás tokenalapú hitelesítési mód között a végponthoz. A kulcsok nem járnak le, de a jogkivonatok lejárnak. A hitelesítéssel kapcsolatos további információkért lásd : Hitelesítés online végponton.
Az Azure Machine Tanulás lehetővé teszi a felügyelt online végpontok használatát az ML-modellek kulcsrakész üzembe helyezéséhez. Ez az online végpontok használatának ajánlott módja az Azure Machine Tanulás. Managed online endpoints work with powerful CPU and GPU machines in Azure in a scalable, fully managed way. Ezek a végpontok gondoskodnak a modellek kiszolgálásáról, skálázásáról, biztonságáról és monitorozásáról is, hogy megszabadítson a mögöttes infrastruktúra beállításának és kezelésének többletterhelésétől. A felügyelt online végponton való üzembe helyezésről további információt az ML-modell üzembe helyezése online végponttal című témakörben talál.
Miért érdemes felügyelt online végpontokat választani az ACI vagy az AKS(v1) használatával?
A felügyelt online végpontok használata ajánlott módszer az online végpontok Azure Machine-Tanulás való használatára. Az alábbi táblázat a felügyelt online végpontok fő attribútumait emeli ki az Azure Machine Tanulás SDK/CLI v1-megoldásokhoz (ACI és AKS(v1)) képest.
Attribútumok | Felügyelt online végpontok (v2) | ACI vagy AKS(v1) |
---|---|---|
Hálózati biztonság/elkülönítés | Egyszerű bejövő/kimenő vezérlő gyors váltógombbal | A virtuális hálózat nem támogatott, vagy összetett manuális konfigurációt igényel |
Felügyelt szolgáltatás | – Teljes körűen felügyelt számítási kiépítés/skálázás - Hálózati konfiguráció az adatkiszivárgás megelőzéséhez - Gazdagép operációs rendszerének frissítése, a helyszíni frissítések szabályozott bevezetése |
– A skálázás az 1. verzióban korlátozott – A hálózati konfigurációt vagy frissítést a felhasználónak kell felügyelnie |
Végpont/üzembe helyezés fogalma | A végpont és az üzembe helyezés megkülönböztetése olyan összetett forgatókönyveket tesz lehetővé, mint a modellek biztonságos bevezetése | A végpont fogalma nem |
Diagnosztika és figyelés | – Helyi végpont hibakeresése lehetséges a Docker és a Visual Studio Code használatával – Speciális metrikák és naplóelemzés diagramokkal/lekérdezésekkel az üzembe helyezések összehasonlítása érdekében – Költséglebontás üzembe helyezési szintig |
Nincs egyszerű helyi hibakeresés |
Méretezhetőség | Korlátlan, rugalmas és automatikus skálázás | - Az ACI nem méretezhető - Az AKS (v1) csak a fürtön belüli skálázást támogatja, és méretezhetőségi konfigurációt igényel |
Alkalmasság vállalati használatra | Privát kapcsolat, ügyfél által kezelt kulcsok, Microsoft Entra-azonosító, kvótakezelés, számlázási integráció, SLA | Not supported |
Speciális gépi tanulási funkciók | – Modelladatok gyűjtése - Modellfigyelés - Champion-challenger modell, biztonságos bevezetés, forgalomtükrözés - Felelős AI-bővíthetőség |
Not supported |
Ha inkább a Kubernetes-t szeretné használni a modellek üzembe helyezéséhez és végpontok kiszolgálásához, és jól kezeli az infrastruktúra követelményeit, használhatja a Kubernetes online végpontjait. Ezek a végpontok lehetővé teszik modellek üzembe helyezését és online végpontok kiszolgálását a teljes mértékben konfigurált és felügyelt Kubernetes-fürtön bárhol, PROCESSZORokkal vagy GPU-kkal.
Miért érdemes felügyelt online végpontokat választani az AKS(v2)-en keresztül?
A felügyelt online végpontok megkönnyítik az üzembe helyezési folyamatot, és az alábbi előnyöket biztosítják a Kubernetes online végpontjaival szemben:
Felügyelt infrastruktúra
- Automatikusan kiépíti a számítást, és üzemelteti a modellt (csak meg kell adnia a virtuális gép típusát és méretezési beállításait)
- A mögöttes gazdagép operációs rendszer lemezképének automatikus frissítése és javítása
- Automatikusan végrehajtja a csomópont helyreállítását rendszerhiba esetén
Figyelés és naplók
- A modell rendelkezésre állásának, teljesítményének és SLA-jának monitorozása az Azure Monitor natív integrációjával.
- Az üzembe helyezéseket a naplókkal és az Azure Log Analytics natív integrációjával hibakereséssel végezheti el.
Költségek megtekintése
- A felügyelt online végpontok lehetővé teszik a költségek monitorozását a végpont és az üzembe helyezés szintjén
Megjegyzés:
A felügyelt online végpontok az Azure Machine Tanulás számításán alapulnak. Felügyelt online végpont használata esetén a számítási és hálózatkezelési díjakat kell fizetnie. Nincs további felár. A díjszabással kapcsolatos további információkért tekintse meg az Azure díjkalkulátorát.
Ha Azure Machine Tanulás virtuális hálózatot használ a felügyelt online végpont kimenő forgalmának védelméhez, a felügyelt virtuális hálózat által használt Azure-beli privát kapcsolat és teljes tartománynév kimenő szabályaiért kell fizetnie. További információ: Felügyelt virtuális hálózat díjszabása.
Felügyelt online végpontok és kubernetes online végpontok
Az alábbi táblázat a felügyelt online végpontok és a Kubernetes online végpontok közötti főbb különbségeket emeli ki.
Managed online endpoints | Kubernetes online végpontok (AKS(v2)) | |
---|---|---|
Javasolt felhasználók | Felügyelt modell üzembe helyezését és továbbfejlesztett MLOps-funkciókat igénylő felhasználók | A Kubernetest előnyben részesítő és az infrastruktúra-követelmények önálló kezelésére képes felhasználók |
Csomópontok kiépítése | Felügyelt számítási kiépítés, frissítés, eltávolítás | Felhasználói felelősség |
Csomópont karbantartása | Felügyelt gazdagép operációsrendszer-rendszerképének frissítései és biztonsági megkeményedése | Felhasználói felelősség |
Fürtméretezés (méretezés) | Felügyelt manuális és automatikus skálázás, további csomópontok kiépítésének támogatása | Manuális és automatikus skálázás, amely támogatja a replikák számának skálázását a rögzített fürthatárokon belül |
Számítási típus | A szolgáltatás kezeli | Ügyfél által felügyelt Kubernetes-fürt (Kubernetes) |
Managed identity | Támogatott | Támogatott |
Virtuális hálózat (VNet) | Támogatott kezelt hálózati elkülönítés | Felhasználói felelősség |
Házon kívül figyelés > naplózás | Az Azure Monitor és a Log Analytics alapú (a végpontokhoz és üzembe helyezésekhez szükséges főbb metrikákat és naplótáblákat tartalmazza) | Felhasználói felelősség |
Naplózás alkalmazás Elemzések (örökölt) | Támogatott | Támogatott |
Költségek megtekintése | Részletes végpont/üzembe helyezési szint | Fürtszint |
A költség az adott költségre vonatkozik | Az üzemelő példányokhoz rendelt virtuális gépek | A fürthöz rendelt virtuális gépek |
Tükrözött forgalom | Támogatott | Támogatott |
Kód nélküli üzembe helyezés | Támogatott (MLflow - és Triton-modellek ) | Támogatott (MLflow - és Triton-modellek ) |
Online üzemelő példányok
Az üzembe helyezés a tényleges következtetést okozó modell üzemeltetéséhez szükséges erőforrások és számítások készlete. Egyetlen végpont több különböző konfigurációval rendelkező üzembe helyezést is tartalmazhat. Ez a beállítás segít leválasztani a végpont által bemutatott felületet az üzembe helyezésben található megvalósítási részletekről. Az online végpont olyan útválasztási mechanizmussal rendelkezik, amely a végpont adott üzemelő példányaihoz irányíthatja a kéréseket.
Az alábbi ábra egy online végpontot mutat be, amely két üzembe helyezéssel rendelkezik, kék és zöld. A kék üzembe helyezés cpu-termékváltozattal rendelkező virtuális gépeket használ, és egy modell 1. verzióját futtatja. A zöld üzembe helyezés GPU-termékváltozattal rendelkező virtuális gépeket használ, és a modell 2. verzióját futtatja. A végpont úgy van konfigurálva, hogy a bejövő forgalom 90%-át a kék üzembe helyezésre irányozza, míg a zöld üzembe helyezés megkapja a fennmaradó 10%-ot.
Az alábbi táblázat az üzembe helyezés fő attribútumait ismerteti:
Attribútum | Ismertetés |
---|---|
Név | Az üzembe helyezés neve. |
Végpont neve | Az üzembe helyezés létrehozásához szükséges végpont neve. |
Modell | Az üzembe helyezéshez használni kívánt modell. Ez az érték lehet a munkaterület egy meglévő verziójú modelljére való hivatkozás, vagy egy beágyazott modell specifikációja. |
Kód elérési útja | A helyi fejlesztési környezet könyvtárának elérési útja, amely tartalmazza a modell pontozásához szükséges Összes Python-forráskódot. Beágyazott könyvtárakat és csomagokat is használhat. |
Pontozási szkript | A forráskód könyvtárában található pontozófájl relatív elérési útja. Ennek a Python-kódnak egy függvénysel init() és egy függvénnyel kell rendelkeznie run() . A init() függvény a modell létrehozása vagy frissítése után lesz meghívva (használhatja például a modell gyorsítótárazására a memóriában). A run() függvényt a rendszer a végpont minden meghívásánál meghívja, hogy elvégezhesse a tényleges pontozást és előrejelzést. |
Environment | A modellt és a kódot üzemeltető környezet. Ez az érték hivatkozhat a munkaterület meglévő verziójú környezetére, vagy egy beágyazott környezeti specifikációra. Megjegyzés: A Microsoft rendszeresen frissíti az alaprendszerképeket az ismert biztonsági rések miatt. A javított rendszerkép használatához újra üzembe kell helyeznie a végpontot. Ha saját rendszerképet ad meg, ön a felelős a frissítéséért. További információ: Képjavítás. |
Példány típusa | Az üzembe helyezéshez használandó virtuálisgép-méret. A támogatott méretek listáját a Felügyelt online végpontok termékváltozata című témakörben találja. |
Példányok száma | Az üzembe helyezéshez használandó példányok száma. Alapozza az értéket a várt számítási feladatra. A magas rendelkezésre állás érdekében javasoljuk, hogy állítsa be az értéket legalább 3 . A frissítések végrehajtásához további 20%-ot foglalunk le. További információkért tekintse meg a virtuális gépek központi telepítésre vonatkozó kvótafoglalását. |
Az online végpontok parancssori felülettel, SDK-val, studióval és ARM-sablonnal történő üzembe helyezéséről további információt az ML-modell üzembe helyezése online végponttal című témakörben talál.
Üzembe helyezés kódolókhoz és nem kódolókhoz
Az Azure Machine Tanulás támogatja a modell online végpontokra történő üzembe helyezését a kódolók és a nem kódolók számára egyaránt, ha lehetőséget biztosít a kód nélküli üzembe helyezésre, az alacsony kódszámú üzembe helyezésre és a Saját tároló (BYOC) üzembe helyezésére.
- A kód nélküli üzembe helyezés beépített következtetést biztosít a közös keretrendszerekhez (például scikit-learn, TensorFlow, PyTorch és ONNX) az MLflow és a Triton használatával.
- Az alacsony kódszámú üzembe helyezés lehetővé teszi, hogy minimális kódot adjon meg az ML-modellel együtt az üzembe helyezéshez.
- A BYOC üzembe helyezése lehetővé teszi, hogy gyakorlatilag bármilyen tárolót hozzon létre az online végpont futtatásához. Az MLOps-folyamatok kezeléséhez használhatja az Azure Machine Tanulás összes platformfunkcióját, például az automatikus skálázást, a GitOpst, a hibakeresést és a biztonságos bevezetést.
Az alábbi táblázat az online üzembe helyezési lehetőségek főbb szempontjait emeli ki:
Kód nélküli | Alacsony kód | BYOC | |
---|---|---|---|
Összefoglalás | Beépített következtetést használ olyan népszerű keretrendszerekhez, mint a scikit-learn, a TensorFlow, a PyTorch és az ONNX, az MLflow és a Triton használatával. További információ: MLflow-modellek üzembe helyezése online végpontokon. | Biztonságos, nyilvánosan közzétett válogatott képeket használ a népszerű keretrendszerekhez, és kéthetente frissítéseket használ a biztonsági rések kezelésére. Pontozószkriptet és/vagy Python-függőségeket biztosít. További információ: Azure Machine Tanulás Válogatott környezetek. | A teljes vermet az Azure Machine Tanulás egyéni rendszerképekhez nyújtott támogatásával adhatja meg. További információ: Modell üzembe helyezése egy online végponton egyéni tároló használatával. |
Egyéni alaprendszerkép | Nem, a válogatott környezet biztosítja ezt az egyszerű üzembe helyezéshez. | Igen és Nem, használhat válogatott vagy testre szabott képet. | Igen, hozzon létre egy akadálymentes tárolórendszerkép-helyet (például docker.io, Azure Container Registry (ACR) vagy Microsoft Container Registry (MCR)) vagy egy Dockerfile-t, amelyet az ACR-vel hozhat létre vagy küldhet le a tárolóhoz. |
Egyéni függőségek | Nem, a válogatott környezet biztosítja ezt az egyszerű üzembe helyezéshez. | Igen, hozza létre az Azure Machine Tanulás környezetet, amelyben a modell fut; vagy egy Docker-rendszerképet Conda-függőségekkel, vagy egy dockerfile-t. | Igen, ez szerepelni fog a tároló lemezképében. |
Egyéni kód | Nem, a pontozási szkript automatikusan létre lesz hozva az egyszerű üzembe helyezés érdekében. | Igen, hozza el a pontozó szkriptet. | Igen, ez szerepelni fog a tároló lemezképében. |
Megjegyzés:
Az AutoML-futtatások automatikusan létrehoznak egy pontozószkriptet és függőségeket a felhasználók számára, így bármilyen AutoML-modellt üzembe helyezhet anélkül, hogy további kódot kellene létrehoznia (kód nélküli üzembe helyezéshez), vagy módosíthatja az automatikusan létrehozott szkripteket az üzleti igényeinek megfelelően (alacsony kódszámú üzembe helyezés esetén). Az AutoML-modellekkel való üzembe helyezésről további információt az AutoML-modell üzembe helyezése online végponttal című témakörben talál.
Online végpont hibakeresése
Az Azure Machine Tanulás különböző módszereket kínál az online végpontok helyi és tárolónaplók használatával történő hibakeresésére.
Helyi hibakeresés az Azure Machine Tanulás következtetési HTTP-kiszolgálóval
A pontozószkript helyi hibakereséséhez használja az Azure Machine Tanulás következtetési HTTP-kiszolgálót. A HTTP-kiszolgáló egy Python-csomag, amely HTTP-végpontként teszi elérhetővé a pontozási függvényt, és a Flask-kiszolgáló kódját és függőségeit egy egyedi csomagba csomagolja. Ez szerepel az előre összeállított Docker-rendszerképekben a modell Azure Machine-Tanulás való üzembe helyezésekor használt következtetés érdekében. Ha egyedül használja a csomagot, helyileg üzembe helyezheti a modellt éles környezetben, és a pontozási (belépési) szkriptet is egyszerűen érvényesítheti egy helyi fejlesztési környezetben. Ha probléma van a pontozási szkripttel, a kiszolgáló hibát ad vissza, és azt a helyet, ahol a hiba történt. A Visual Studio Code használatával hibakeresést is végezhet az Azure Machine Tanulás következtetési HTTP-kiszolgálóval.
A HTTP-kiszolgálóval végzett hibakeresésről további információt az Azure Machine Tanulás következtetési HTTP-kiszolgálóval végzett hibakeresési pontozási szkriptben talál.
Helyi hibakeresés
A helyi hibakereséshez helyi üzembe helyezésre van szükség, vagyis egy helyi Docker-környezetben üzembe helyezett modellre. Ezt a helyi üzembe helyezést használhatja tesztelésre és hibakeresésre a felhőben való üzembe helyezés előtt. A helyi üzembe helyezéshez telepítenie és futtatnia kell a Docker-motort . Az Azure Machine Tanulás ezután létrehoz egy helyi Docker-rendszerképet, amely az Azure Machine Tanulás rendszerképet utánozza. Az Azure Machine Tanulás helyi telepítéseket hoz létre és futtat, és gyorsítótárazza a rendszerképet a gyors iterációkhoz.
A helyi hibakeresés lépései általában a következők:
- Annak ellenőrzése, hogy a helyi üzembe helyezés sikeres volt-e
- A helyi végpont meghívása a következtetéshez
- A meghívási művelet kimenetének naplóinak áttekintése
A helyi hibakereséssel kapcsolatos további információkért lásd a helyi végpontok használatával történő helyi üzembe helyezést és hibakeresést.
Helyi hibakeresés a Visual Studio Code-tal (előzetes verzió)
Fontos
Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.
For more information, see Supplemental Terms of Use for Microsoft Azure Previews.
A helyi hibakereséshez hasonlóan először telepítenie és futtatnia kell a Docker-motort , majd telepítenie kell egy modellt a helyi Docker-környezetben. Helyi üzembe helyezés után az Azure Machine Tanulás helyi végpontok Docker- és Visual Studio Code-fejlesztői tárolókat (fejlesztői tárolókat) használnak helyi hibakeresési környezetek létrehozásához és konfigurálásához. A fejlesztői tárolókkal kihasználhatja a Visual Studio Code funkcióit, például az interaktív hibakeresést egy Docker-tárolóból.
Az online végpontok VS Code-ban történő interaktív hibakereséséről a Visual Studio Code helyi online végpontjainak hibakeresése című témakörben olvashat bővebben.
Hibakeresés tárolónaplókkal
Üzembe helyezés esetén nem kaphat közvetlen hozzáférést ahhoz a virtuális géphez, amelyben a modell üzembe van helyezve. Lekérhet azonban naplókat a virtuális gépen futó egyes tárolókból. Kétféle tárolóból szerezheti be a naplókat:
- Következtetési kiszolgáló: A naplók tartalmazzák a konzolnaplót (a következtetési kiszolgálóról), amely a pontozószkriptből (
score.py
kódból) származó nyomtatási/naplózási függvények kimenetét tartalmazza. - Tároló inicializáló: A naplók információkat tartalmaznak arról, hogy a kód- és modelladatok sikeresen le lettek-e töltve a tárolóba. A tároló a következtetési kiszolgáló tárolójának futtatása előtt fut.
A tárolónaplók hibakereséséről további információt a Tárolónaplók lekérése című témakörben talál.
Forgalomirányítás és tükrözés online üzembe helyezések számára
Ne feledje, hogy egyetlen online végpont több üzembe helyezéssel is rendelkezhet. Mivel a végpont bejövő forgalmat (vagy kéréseket) fogad, a forgalom százalékos arányát irányíthatja az egyes üzemelő példányokra, a natív kék/zöld üzembe helyezési stratégiában használt módon. Tükrözheti (vagy másolhatja) az egyik üzembe helyezésből a másikba érkező forgalmat, más néven forgalomtükrözést vagy árnyékolást.
Forgalomirányítás kék/zöld üzembe helyezéshez
A kék/zöld üzembe helyezés egy olyan üzembehelyezési stratégia, amely lehetővé teszi, hogy a teljes üzembe helyezés előtt egy új üzembe helyezést (a zöld üzembe helyezést) helyezzen üzembe a felhasználók vagy kérések egy kis részhalmazában. A végpont terheléselosztást valósíthat meg az egyes üzemelő példányok forgalmának bizonyos százalékainak lefoglalásához, és az összes üzembe helyezés teljes lefoglalása akár 100%-ot is elérheti.
Tipp.
A kérések megkerülhetik a konfigurált forgalom terheléselosztását a HTTP fejlécének azureml-model-deployment
beírásával. Állítsa a fejléc értékét annak az üzemelő példánynak a nevére, amelyhez a kérést irányítani szeretné.
Az alábbi képen az Azure Machine Tanulás Studio beállításai láthatók a kék és a zöld környezet közötti forgalom elosztásához.
Ez a forgalomfoglalás az alábbi képen látható módon irányítja át a forgalmat, a forgalom 10%-a a zöld üzembe helyezésre, a forgalom 90%-a pedig a kék üzembe helyezésre megy.
Forgalomtükrözés online üzemelő példányokra
A végpont tükrözheti (vagy másolhatja) az egyik üzemelő példányból egy másik üzembe helyezésbe érkező forgalmat. A forgalomtükrözés (más néven árnyéktesztelés) akkor hasznos, ha éles forgalommal szeretne tesztelni egy új üzembe helyezést anélkül, hogy hatással lenne az ügyfelek által a meglévő üzemelő példányokból kapott eredményekre. Ha például egy kék/zöld üzembe helyezést hajt végre, ahol a forgalom 100%-a kékre van irányítva, és 10%-a a zöld üzembe helyezéshez lesz tükrözve , a zöld üzembe helyezés felé irányuló tükrözött forgalom eredményei nem lesznek visszaadva az ügyfeleknek, de a metrikák és a naplók rögzítve lesznek.
A forgalomtükrözés használatáról az online végpontok Széf bevezetéséről olvashat.
Az online végpontok további képességei az Azure Machine Tanulás
Hitelesítés és titkosítás
- Hitelesítés: Kulcs- és Azure Machine-Tanulás-jogkivonatok
- Felügyelt identitás: Felhasználó és hozzárendelt rendszer
- SSL alapértelmezés szerint a végpontok meghívásához
Automatikus skálázás
Az automatikus skálázás automatikusan a megfelelő mennyiségű erőforrást futtatja az alkalmazásra háruló terhelés kezeléséhez. A felügyelt végpontok támogatják az automatikus skálázást az Azure Monitor automatikus skálázási funkciójával való integrációval. Konfigurálhat metrikákon alapuló skálázást (például 70%-os processzorkihasználtságot >), ütemezésalapú skálázást (például a csúcsidőre vonatkozó skálázási szabályokat) vagy egy kombinációt.
Az automatikus skálázás konfigurálásának megismeréséhez tekintse meg az online végpontok automatikus méretezését ismertető cikket.
Felügyelt hálózatelkülönítés
Egy ml-modell felügyelt online végponton való üzembe helyezésekor privát végpontok használatával biztonságossá teheti az online végponttal való kommunikációt.
A bejövő pontozási kérelmek és a munkaterülettel és más szolgáltatásokkal folytatott kimenő kommunikáció biztonságát külön konfigurálhatja. A bejövő kommunikáció az Azure Machine Tanulás-munkaterület privát végpontját használja. A kimenő kommunikáció a munkaterület felügyelt virtuális hálózatához létrehozott privát végpontokat használja.
További információ: Hálózatelkülönítés felügyelt online végpontokkal.
Online végpontok és üzemelő példányok monitorozása
Az Azure Machine Tanulás végpontok monitorozása az Azure Monitorral való integrációval lehetséges. Ez az integráció lehetővé teszi a diagramok metrikáinak megtekintését, a riasztások konfigurálását, a naplótáblákból való lekérdezést, az Alkalmazás Elemzések használatával a felhasználói tárolók eseményeinek elemzését stb.
Metrikák: Az Azure Monitor használatával nyomon követheti a különböző végpontmetrikákat, például a kérelmek késését, és lehatolást az üzembe helyezésre vagy az állapotszintre. Nyomon követheti az üzembe helyezési szintű metrikákat is, például a PROCESSZOR-/GPU-kihasználtságot, és lehatolást a példány szintjére. Az Azure Monitor segítségével nyomon követheti ezeket a metrikákat a diagramokban, és irányítópultokat és riasztásokat állíthat be a további elemzéshez.
Naplók: Metrikák küldése a Log Analytics-munkaterületre, ahol naplókat kérdezhet le a Kusto lekérdezési szintaxisával. A további feldolgozáshoz metrikákat is küldhet a tárfiókba és/vagy az Event Hubsba. Emellett dedikált naplótáblákat is használhat az online végponttal kapcsolatos eseményekhez, forgalomhoz és tárolónaplókhoz. A Kusto-lekérdezés lehetővé teszi több tábla összekapcsolása összetett elemzést.
Alkalmazáselemzések: A válogatott környezetek közé tartozik az alkalmazás Elemzések integrációja, és online üzembe helyezés létrehozásakor engedélyezheti vagy letilthatja. A beépített metrikákat és naplókat a rendszer elküldi az Application Insightsnak, és további elemzésekhez használhatja a beépített funkciókat, például az élő metrikákat, a tranzakciókeresést, a hibákat és a teljesítményt.
A monitorozásról további információt az online végpontok monitorozása című témakörben talál.
Titkos injektálás online üzemelő példányokban (előzetes verzió)
Az online üzembe helyezés kontextusában a titkos kulcsok injektálásának folyamata titkos kulcsok (például API-kulcsok) titkos tárolókból való lekérése, és az online üzembe helyezésen belül futó felhasználói tárolóba való injektálása. A titkos kódok végül elérhetőek lesznek a környezeti változókon keresztül, így biztonságos módot biztosítanak számukra a pontozási szkriptet futtató következtetési kiszolgáló vagy a BYOC (saját tároló) üzembe helyezési megközelítésével létrehozott következtetési verem használatával.
Kétféleképpen lehet titkos kulcsokat beszúrni. Titkos kulcsokat saját maga is beszúrhat felügyelt identitások használatával, vagy használhatja a titkos kódok injektálási funkcióját. A titkos kódok injektálásának módjairól további információt az online végpontokban (előzetes verzióban) található Titkos kódok injektálása című témakörben talál.
További lépések
- Online végpontok üzembe helyezése az Azure CLI-vel és a Python SDK-val
- Batch-végpontok üzembe helyezése az Azure CLI-vel és a Python SDK-val
- Hálózati elkülönítés használata felügyelt online végpontokkal
- Modellek üzembe helyezése REST használatával
- Felügyelt online végpontok monitorozása
- Felügyelt online végpont költségeinek megtekintése
- Az erőforráskvóták kezelése és növelése az Azure Machine Learninggel