Az Azure Machine Learning monitorozása

  • Cikk

Ez a cikk a következőket ismerteti:

  • A szolgáltatáshoz gyűjthető monitorozási adatok típusai.
  • Az adatok elemzésének módjai.

Feljegyzés

Ha már ismeri ezt a szolgáltatást és/vagy az Azure Monitort, és csak tudni szeretné, hogyan elemezheti a figyelési adatokat, tekintse meg a cikk végén található Elemzés szakaszt.

Ha olyan kritikus alkalmazásokkal és üzleti folyamatokkal rendelkezik, amelyek Az Azure-erőforrásokra támaszkodnak, figyelnie kell és riasztásokat kell kapnia a rendszeréről. Az Azure Monitor szolgáltatás a rendszer minden összetevőjéből gyűjti és összesíti a metrikákat és naplókat. Az Azure Monitor áttekintést nyújt a rendelkezésre állásról, a teljesítményről és a rugalmasságról, és értesíti Önt a problémákról. A monitorozási adatok beállításához és megtekintéséhez használhatja az Azure Portalt, a PowerShellt, az Azure CLI-t, a REST API-t vagy az ügyfélkódtárakat.

Feljegyzés

A dokumentumban szereplő információk elsősorban rendszergazdáknak szólnak, mivel az Azure Machine Tanulás szolgáltatás és a kapcsolódó Azure-szolgáltatások monitorozását ismerteti. Ha Ön adatelemző vagy fejlesztő, és a modellbetanítási futtatásokra vonatkozó információkat szeretne figyelni, tekintse meg az alábbi dokumentumokat:

Ha az online végpontokon üzembe helyezett modellek által létrehozott információkat szeretné figyelni, tekintse meg az online végpontok monitorozását ismertető cikket.

Elemzések

Az Azure egyes szolgáltatásai beépített monitorozási irányítópulttal rendelkeznek az Azure Portalon, amely kiindulópontot biztosít a szolgáltatás monitorozásához. Ezeket az irányítópultokat elemzéseknek nevezzük, és az Azure Portal Elemzések Azure Monitor központjában találhatja meg őket.

A gépi Tanulás az Alkalmazás Elemzések segítségével követheti nyomon a metrikákat és naplókat. A további elemzéshez elküldhet beépített metrikákat és naplókat az Alkalmazás Elemzések, és az alkalmazás Elemzések olyan funkcióit használhatja, mint az élő metrikák, a tranzakciókeresés, a hibák és a teljesítmény. További információ: Online végpontok figyelése.

Erőforrástípusok

Az Azure az erőforrástípusok és azonosítók fogalmát használja az előfizetések minden elemének azonosítására. Az Azure Monitor hasonlóan rendszerezi az alapvető monitorozási adatokat metrikákba és naplókba az erőforrástípusok, más néven névterek alapján. Különböző metrikák és naplók érhetők el a különböző erőforrástípusokhoz. Előfordulhat, hogy a szolgáltatás több erőforrástípushoz is társítva van.

Az erőforrástípusok az Azure-ban futó összes erőforrás erőforrásazonosítóinak is részét képezik. A virtuális gépek egyik erőforrástípusa például az Microsoft.Compute/virtualMachines. A szolgáltatások és a hozzájuk kapcsolódó erőforrástípusok listáját az Erőforrás-szolgáltatók című témakörben találja.

A Gépi Tanulás erőforrástípusairól további információt a Gép Tanulás monitorozási adatok hivatkozásában talál.

Adattárolás

Azure Monitor esetén:

  • A metrikák adatait az Azure Monitor metrikák adatbázisa tárolja.
  • A naplóadatok tárolása az Azure Monitor naplók tárolójában történik. A Log Analytics egy eszköz az Azure Portalon, amely le tudja kérdezni ezt az áruházat.
  • Az Azure-tevékenységnapló egy külön tároló, amelynek saját felülete van az Azure Portalon.

A metrikák és a tevékenységnaplók adatait igény szerint átirányíthatja az Azure Monitor-naplók tárolójába. Ezután a Log Analytics használatával lekérdezheti az adatokat, és összehasonlíthatja azokat más naplóadatokkal.

Számos szolgáltatás diagnosztikai beállításokkal küldhet metrikákat és naplóadatokat az Azure Monitoron kívüli más tárolóhelyekre. Ilyenek például az Azure Storage, a üzemeltetett partnerrendszerek és a nem Azure-beli partnerrendszerek az Event Hubs használatával.

Az Azure Monitor adatainak tárolásáról az Azure Monitor adatplatformja nyújt részletes tájékoztatást.

Az Azure Monitor platformmetrikái

Az Azure Monitor platformmetrikát biztosít a legtöbb szolgáltatáshoz. Ezek a metrikák a következők:

  • Egyedileg definiálva minden névtérhez.
  • Az Azure Monitor idősoros metrikák adatbázisában tárolva.
  • Könnyű és képes közel valós idejű riasztások támogatására.
  • Egy erőforrás teljesítményének nyomon követésére szolgál az idő függvényében.

Gyűjtemény: Az Azure Monitor automatikusan gyűjti a platformmetrikákat. Nem igényel konfigurálást.

Útválasztás: A platformmetrikákat általában az Azure Monitor-naplókhoz/Log Analyticshez is átirányíthatja, így más naplóadatokkal is lekérdezheti őket. További információt a Metrikák diagnosztikai beállításában talál. A szolgáltatás diagnosztikai beállításainak konfigurálásához lásd : Diagnosztikai beállítások létrehozása az Azure Monitorban.

Az Azure Monitor összes erőforrásához gyűjthető metrikák listájáért tekintse meg az Azure Monitor támogatott metrikáit.

A Machine Tanulás elérhető metrikáinak listáját a Gép Tanulás monitorozási adatok hivatkozásában találja.

Az Azure Machine-Tanulás összes metrikája a Névtér Gép Tanulás Szolgáltatás-munkaterületen található.

A Metrics Explorer és a Machine Tanulás Service Workspace ki van választva.

Azure Monitor-erőforrásnaplók

Az erőforrásnaplók betekintést nyújtanak az Azure-erőforrások által végrehajtott műveletekbe. A naplók automatikusan jönnek létre, de a mentésükhöz vagy lekérdezésükhöz az Azure Monitor naplóihoz kell irányítani őket. A naplók kategóriákba vannak rendezve. Egy adott névtér több erőforrásnapló-kategóriával is rendelkezhet.

Gyűjtemény: Az erőforrásnaplók csak akkor lesznek összegyűjtve és tárolva, ha diagnosztikai beállítást hoz létre, és a naplókat egy vagy több helyre irányítja. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállításokat többféleképpen is létrehozhatja és karbantarthatja, beleértve az Azure Portalt is, programozott módon, és bár az Azure Policyt.

Útválasztás: A javasolt alapértelmezett beállítás az erőforrásnaplók Azure Monitor-naplókba való átirányítása, hogy más naplóadatokkal is lekérdezhesse őket. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. További információ: Azure-erőforrásnaplók és erőforrásnapló-célhelyek.

Az erőforrásnaplók gyűjtésével, tárolásával és útválasztásával kapcsolatos részletes információkért tekintse meg az Azure Monitor diagnosztikai beállításait.

Az Azure Monitor összes elérhető erőforrásnapló-kategóriájának listáját lásd: Támogatott erőforrásnaplók az Azure Monitorban.

Az Azure Monitor összes erőforrásnaplója ugyanazokkal a fejlécmezőkkel rendelkezik, amelyeket a szolgáltatásspecifikus mezők követnek. A közös sémát az Azure Monitor erőforrásnapló-sémája ismerteti.

Az elérhető erőforrásnapló-kategóriákról, a hozzájuk tartozó Log Analytics-táblákról és a gépi Tanulás naplós sémáiról lásd: Gépi Tanulás monitorozási adatok referenciája.

Azure-tevékenységnapló

A tevékenységnapló előfizetésszintű eseményeket tartalmaz, amelyek nyomon követik az egyes Azure-erőforrások műveleteit az adott erőforráson kívülről látható módon; például új erőforrás létrehozása vagy virtuális gép indítása.

Gyűjtemény: A tevékenységnapló-események automatikusan létrejönnek, és egy külön tárolóban lesznek összegyűjtve az Azure Portalon való megtekintéshez.

Útválasztás: Tevékenységnapló-adatokat küldhet az Azure Monitor-naplókba, hogy más naplóadatokkal együtt elemezhesse azokat. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. A tevékenységnapló irányításával kapcsolatos további információkért tekintse meg az Azure-tevékenységnapló áttekintését.

Monitorozási adatok elemzése

A monitorozási adatok elemzésére számos eszköz áll rendelkezésre.

Azure Monitor-eszközök

Az Azure Monitor a következő alapvető eszközöket támogatja:

Az összetettebb vizualizációt lehetővé tevő eszközök a következők:

  • Irányítópultok , amelyek lehetővé teszik, hogy különböző típusú adatokat egyesítsen egyetlen panelen az Azure Portalon.
  • Az Azure Portalon létrehozható munkafüzetek, testreszabható jelentések. A munkafüzetek tartalmazhatnak szöveget, metrikákat és napló lekérdezéseket.
  • Grafana, egy nyíltplatformos eszköz, amely kiválóan működik az irányítópultokon. A Grafana használatával olyan irányítópultokat hozhat létre, amelyek az Azure Monitoron kívül több forrásból származó adatokat is tartalmaznak.
  • A Power BI egy üzleti elemzési szolgáltatás, amely interaktív vizualizációkat biztosít különböző adatforrásokban. A Power BI-t úgy konfigurálhatja, hogy automatikusan importálja a naplóadatokat az Azure Monitorból a vizualizációk előnyeinek kihasználásához.

Az Azure Monitor exportálási eszközei

Az Azure Monitorból más eszközökre is lekérheti az adatokat az alábbi módszerekkel:

Az Azure MonitorHOZ készült REST API használatának megkezdéséhez tekintse meg az Azure monitoring REST API-útmutatót.

Kusto-lekérdezések

A monitorozási adatokat az Azure Monitor Naplók/ Log Analytics-tárolóban a Kusto lekérdezési nyelv (KQL) használatával elemezheti.

Fontos

Amikor a portálon a szolgáltatás menüjében a Naplók lehetőséget választja, megnyílik a Log Analytics, és a lekérdezés hatóköre az aktuális szolgáltatásra van állítva. Ez a hatókör azt jelenti, hogy a napló lekérdezései csak az adott típusú erőforrásból származó adatokat tartalmazzák. Ha más Azure-szolgáltatásokból származó adatokat tartalmazó lekérdezést szeretne futtatni, válassza a Naplók lehetőséget az Azure Monitor menüjében. A részletekért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.

A szolgáltatások gyakori lekérdezéseinek listáját a Log Analytics lekérdezési felületén találja.

A következő lekérdezésekkel figyelheti a gépi Tanulás erőforrásait:

  • Sikertelen feladatok lekérése az elmúlt öt napban:

    AmlComputeJobEvent
| where TimeGenerated > ago(5d) and EventType == "JobFailed"
| project  TimeGenerated , ClusterId , EventType , ExecutionState , ToolType

  • Adott feladatnév rekordjainak lekérése:

    AmlComputeJobEvent
| where JobName == "automl_a9940991-dedb-4262-9763-2fd08b79d8fb_setup"
| project  TimeGenerated , ClusterId , EventType , ExecutionState , ToolType

  • Fürtesemények lekérése az elmúlt öt napban olyan fürtök esetében, ahol a virtuális gép mérete Standard_D1_V2:

    AmlComputeClusterEvent
| where TimeGenerated > ago(4d) and VmSize == "STANDARD_D1_V2"
| project  ClusterName , InitialNodeCount , MaximumNodeCount , QuotaAllocated , QuotaUtilized

  • Kérje le a fürtcsomópont-foglalásokat az elmúlt nyolc napban::

    AmlComputeClusterEvent
| where TimeGenerated > ago(8d) and TargetNodeCount  > CurrentNodeCount
| project TimeGenerated, ClusterName, CurrentNodeCount, TargetNodeCount

Ha több gépi Tanulás munkaterületet csatlakoztat ugyanahhoz a Log Analytics-munkaterülethez, az összes erőforrást lekérdezheti.

  • A munkaterületeken és fürtökön futó csomópontok számának lekérése az elmúlt napon:

    AmlComputeClusterEvent
| where TimeGenerated > ago(1d)
| summarize avgRunningNodes=avg(TargetNodeCount), maxRunningNodes=max(TargetNodeCount)
         by Workspace=tostring(split(_ResourceId, "/")[8]), ClusterName, ClusterType, VmSize, VmPriority

Riasztások

Az Azure Monitor-riasztások proaktív módon értesítik, ha adott feltételek találhatók a monitorozási adatokban. A riasztások lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt az ügyfelek észrevennénk őket. További információ: Azure Monitor-riasztások.

Az Azure-erőforrásokra vonatkozó gyakori riasztások számos forrásból állnak. Az Azure-erőforrásokra vonatkozó gyakori riasztások példáiért lásd a naplóriasztási lekérdezéseket. Az Azure Monitor Alapszintű riasztások (AMBA) webhelye félautomata módszert biztosít a fontos platformmetrika-riasztások, irányítópultok és irányelvek implementálására. A webhely az Azure-szolgáltatások folyamatosan bővülő részhalmazára vonatkozik, beleértve az Azure Landing Zone (ALZ) részét képező összes szolgáltatást is.

A gyakori riasztási séma szabványosítja az Azure Monitor riasztási értesítéseinek használatát. További információ: Gyakori riasztási séma.

Riasztások típusai

Az Azure Monitor adatplatformon bármilyen metrika- vagy naplóadatforrásról riasztást készíthet. A figyelt szolgáltatásoktól és a gyűjtött monitorozási adatoktól függően számos különböző típusú riasztás létezik. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek. További információ: A megfelelő figyelési riasztástípus kiválasztása.

Az alábbi lista a létrehozható Azure Monitor-riasztások típusait ismerteti:

  • A metrikariasztások rendszeres időközönként értékelik ki az erőforrásmetrikákat. A metrikák lehetnek platformmetrikák, egyéni metrikák, az Azure Monitorból metrikákká konvertált naplók vagy alkalmazás Elemzések metrikák. A metrikariasztások több feltételt és dinamikus küszöbértéket is alkalmazhatnak.
  • A naplóriasztások lehetővé teszik, hogy a felhasználók Log Analytics-lekérdezéssel kiértékeljék az erőforrásnaplókat egy előre meghatározott gyakorisággal.
  • A tevékenységnapló-riasztások akkor aktiválnak, ha egy új tevékenységnapló-esemény következik be, amely megfelel a megadott feltételeknek. A Resource Health-riasztások és a Service Health-riasztások olyan tevékenységnapló-riasztások, amelyek jelentést jelentenek a szolgáltatásról és az erőforrás állapotáról.

Egyes Azure-szolgáltatások intelligens észlelési riasztásokat, Prometheus-riasztásokat vagy ajánlott riasztási szabályokat is támogatnak.

Egyes szolgáltatások esetében nagy léptékben monitorozhat, ha ugyanazt a metrikariasztási szabályt több, azonos típusú erőforrásra alkalmazza, amelyek ugyanabban az Azure-régióban léteznek. Minden figyelt erőforráshoz külön értesítéseket küld a rendszer. A támogatott Azure-szolgáltatásokról és felhőkről lásd : Több erőforrás monitorozása egyetlen riasztási szabmánnyal.

Feljegyzés

Ha olyan alkalmazást hoz létre vagy futtat, amely a szolgáltatáson fut, az Azure Monitor alkalmazáselemzései több típusú riasztást is kínálhatnak.

Gépi Tanulás riasztási szabályok

Az alábbi táblázat a machine Tanulás gyakori és ajánlott riasztási szabályait sorolja fel.

Riasztástípus Feltétel Leírás
A modell üzembe helyezése sikertelen Összesítés típusa: Összeg, Operátor: Nagyobb, Küszöbérték: 0 Ha egy vagy több modelltelepítés meghiúsult
Kvótakihasználtság százalékos aránya Összesítés típusa: Átlag, Operátor: Nagyobb, Küszöbérték: 90 Ha a kvóta kihasználtsága meghaladja a 90%-ot
Használhatatlan csomópontok Összesítés típusa: Összeg, Operátor: Nagyobb, Küszöbérték: 0 Ha egy vagy több használhatatlan csomópont van

Az Advisor javaslatai

Egyes szolgáltatások esetében, ha az erőforrás-műveletek során kritikus feltételek vagy közelgő változások lépnek fel, riasztás jelenik meg a portál szolgáltatásáttekintő lapján. A riasztással kapcsolatos további információkat és javasolt javításokat a bal oldali menü Figyelés területén található Advisor-javaslatok között találja. Normál műveletek során nem jelennek meg tanácsadói javaslatok.

Az Azure Advisorról további információt az Azure Advisor áttekintésében talál.

Kapcsolódó tartalom