Az Azure Batch monitorozása

  • Cikk

Ez a cikk a következőket ismerteti:

  • A szolgáltatáshoz gyűjthető monitorozási adatok típusai.
  • Az adatok elemzésének módjai.

Feljegyzés

Ha már ismeri ezt a szolgáltatást és/vagy az Azure Monitort, és csak tudni szeretné, hogyan elemezheti a figyelési adatokat, tekintse meg a cikk végén található Elemzés szakaszt.

Ha olyan kritikus alkalmazásokkal és üzleti folyamatokkal rendelkezik, amelyek Az Azure-erőforrásokra támaszkodnak, figyelnie kell és riasztásokat kell kapnia a rendszeréről. Az Azure Monitor szolgáltatás a rendszer minden összetevőjéből gyűjti és összesíti a metrikákat és naplókat. Az Azure Monitor áttekintést nyújt a rendelkezésre állásról, a teljesítményről és a rugalmasságról, és értesíti Önt a problémákról. A monitorozási adatok beállításához és megtekintéséhez használhatja az Azure Portalt, a PowerShellt, az Azure CLI-t, a REST API-t vagy az ügyfélkódtárakat.

Erőforrástípusok

Az Azure az erőforrástípusok és azonosítók fogalmát használja az előfizetések minden elemének azonosítására. Az Azure Monitor hasonlóan rendszerezi az alapvető monitorozási adatokat metrikákba és naplókba az erőforrástípusok, más néven névterek alapján. Különböző metrikák és naplók érhetők el a különböző erőforrástípusokhoz. Előfordulhat, hogy a szolgáltatás több erőforrástípushoz is társítva van.

Az erőforrástípusok az Azure-ban futó összes erőforrás erőforrásazonosítóinak is részét képezik. A virtuális gépek egyik erőforrástípusa például az Microsoft.Compute/virtualMachines. A szolgáltatások és a hozzájuk kapcsolódó erőforrástípusok listáját az Erőforrás-szolgáltatók című témakörben találja.

A Batch erőforrástípusairól további információt a Batch monitorozási adathivatkozásában talál.

Adattárolás

Azure Monitor esetén:

  • A metrikák adatait az Azure Monitor metrikák adatbázisa tárolja.
  • A naplóadatok tárolása az Azure Monitor naplók tárolójában történik. A Log Analytics egy eszköz az Azure Portalon, amely le tudja kérdezni ezt az áruházat.
  • Az Azure-tevékenységnapló egy külön tároló, amelynek saját felülete van az Azure Portalon.

A metrikák és a tevékenységnaplók adatait igény szerint átirányíthatja az Azure Monitor-naplók tárolójába. Ezután a Log Analytics használatával lekérdezheti az adatokat, és összehasonlíthatja azokat más naplóadatokkal.

Számos szolgáltatás diagnosztikai beállításokkal küldhet metrikákat és naplóadatokat az Azure Monitoron kívüli más tárolóhelyekre. Ilyenek például az Azure Storage, a üzemeltetett partnerrendszerek és a nem Azure-beli partnerrendszerek az Event Hubs használatával.

Az Azure Monitor adatainak tárolásáról az Azure Monitor adatplatformja nyújt részletes tájékoztatást.

Diagnosztikai naplók elérése a tárolóban

Ha a Batch diagnosztikai naplóit egy tárfiókban archiválja, a rendszer azonnal létrehoz egy tárolót a tárfiókban, amint egy kapcsolódó esemény bekövetkezik. A blobok a következő elnevezési minta szerint jönnek létre:

insights-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/
RESOURCEGROUPS/{resource group name}/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/{Batch account name}/y={four-digit numeric year}/
m={two-digit numeric month}/d={two-digit numeric day}/
h={two-digit 24-hour clock hour}/m=00/PT1H.json

Példa:

insights-metrics-pt1m/resourceId=/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/
RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/MYBATCHACCOUNT/y=2018/m=03/d=05/h=22/m=00/PT1H.json

Minden PT1H.json blobfájl JSON formátumú eseményeket tartalmaz, amelyek a blob URL-címében megadott órán belül történtek (például h=12). A jelen órában az eseményeket a rendszer hozzáfűzi a PT1H.json fájlhoz. A percérték (m=00) mindig 00az, mivel a diagnosztikai napló eseményei óránként külön blobokra vannak bontva. Minden időpont a UTC időzónában van megadva.

Az alábbi példa egy bejegyzést PoolResizeCompleteEvent mutat be egy PT1H.json naplófájlban. A bejegyzés információkat tartalmaz a dedikált és alacsony prioritású csomópontok aktuális és célszámáról, valamint a művelet kezdési és befejezési időpontjáról.

{ "Tenant": "65298bc2729a4c93b11c00ad7e660501", "time": "2019-08-22T20:59:13.5698778Z", "resourceId": "/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/BATCHACCOUNTS/MYBATCHACCOUNT/", "category": "ServiceLog", "operationName": "PoolResizeCompleteEvent", "operationVersion": "2017-06-01", "properties": {"id":"MYPOOLID","nodeDeallocationOption":"Requeue","currentDedicatedNodes":10,"targetDedicatedNodes":100,"currentLowPriorityNodes":0,"targetLowPriorityNodes":0,"enableAutoScale":false,"isAutoPool":false,"startTime":"2019-08-22 20:50:59.522","endTime":"2019-08-22 20:59:12.489","resultCode":"Success","resultMessage":"The operation succeeded"}}

A tárfiók naplóinak programozott eléréséhez használja a Storage API-kat.

Az Azure Monitor platformmetrikái

Az Azure Monitor platformmetrikát biztosít a legtöbb szolgáltatáshoz. Ezek a metrikák a következők:

  • Egyedileg definiálva minden névtérhez.
  • Az Azure Monitor idősoros metrikák adatbázisában tárolva.
  • Könnyű és képes közel valós idejű riasztások támogatására.
  • Egy erőforrás teljesítményének nyomon követésére szolgál az idő függvényében.

Gyűjtemény: Az Azure Monitor automatikusan gyűjti a platformmetrikákat. Nem igényel konfigurálást.

Útválasztás: A platformmetrikákat általában az Azure Monitor-naplókhoz/Log Analyticshez is átirányíthatja, így más naplóadatokkal is lekérdezheti őket. További információt a Metrikák diagnosztikai beállításában talál. A szolgáltatás diagnosztikai beállításainak konfigurálásához lásd : Diagnosztikai beállítások létrehozása az Azure Monitorban.

Az Azure Monitor összes erőforrásához gyűjthető metrikák listájáért tekintse meg az Azure Monitor támogatott metrikáit.

A Batch-fiókok metrikái közé tartoznak például a készlet-létrehozási események, az alacsony prioritású csomópontok száma és a tevékenység befejezésének eseményei. Ezek a metrikák segíthetnek azonosítani a trendeket, és adatelemzésre használhatók.

Feljegyzés

Előfordulhat, hogy az elmúlt 3 percben kibocsátott metrikák továbbra is összesítve lesznek, ezért előfordulhat, hogy az értékek alulbejelentkeznek ebben az időkeretben. A metrika kézbesítése nem garantált, és ezt befolyásolhatja a rendelésen kívüli kézbesítés, az adatvesztés vagy a duplikáció.

A Batchhez elérhető metrikák teljes listájáért tekintse meg a Batch monitorozási adatreferenciáját.

Azure Monitor-erőforrásnaplók

Az erőforrásnaplók betekintést nyújtanak az Azure-erőforrások által végrehajtott műveletekbe. A naplók automatikusan jönnek létre, de a mentésükhöz vagy lekérdezésükhöz az Azure Monitor naplóihoz kell irányítani őket. A naplók kategóriákba vannak rendezve. Egy adott névtér több erőforrásnapló-kategóriával is rendelkezhet.

Gyűjtemény: Az erőforrásnaplók csak akkor lesznek összegyűjtve és tárolva, ha diagnosztikai beállítást hoz létre, és a naplókat egy vagy több helyre irányítja. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállításokat többféleképpen is létrehozhatja és karbantarthatja, beleértve az Azure Portalt is, programozott módon, és bár az Azure Policyt.

Útválasztás: A javasolt alapértelmezett beállítás az erőforrásnaplók Azure Monitor-naplókba való átirányítása, hogy más naplóadatokkal is lekérdezhesse őket. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. További információ: Azure-erőforrásnaplók és erőforrásnapló-célhelyek.

Az erőforrásnaplók gyűjtésével, tárolásával és útválasztásával kapcsolatos részletes információkért tekintse meg az Azure Monitor diagnosztikai beállításait.

Az Azure Monitor összes elérhető erőforrásnapló-kategóriájának listáját lásd: Támogatott erőforrásnaplók az Azure Monitorban.

Az Azure Monitor összes erőforrásnaplója ugyanazokkal a fejlécmezőkkel rendelkezik, amelyeket a szolgáltatásspecifikus mezők követnek. A közös sémát az Azure Monitor erőforrásnapló-sémája ismerteti.

Az elérhető erőforrásnapló-kategóriákról, a hozzájuk tartozó Log Analytics-táblákról és a Batch naplós sémáiról lásd : Batch monitorozási adatok referenciája.

Explicit módon engedélyeznie kell a diagnosztikai beállításokat minden figyelni kívánt Batch-fiókhoz.

A Batch szolgáltatáshoz a következő naplókat gyűjtheti:

  • ServiceLog: A Batch szolgáltatás által egy adott erőforrás, például készlet vagy tevékenység élettartama során kibocsátott események.
  • AllMetrics: Metrikák a Batch-fiók szintjén.

Az alábbi képernyőképen egy példa diagnosztikai beállítás látható, amely az allLogs és az AllMetrics szolgáltatást egy Log Analytics-munkaterületre küldi.

Képernyőkép a Diagnosztikai beállítás lapról, amely egy példát mutat be.

Azure Batch-készlet létrehozásakor a következő monitorozással kapcsolatos bővítmények bármelyikét telepítheti a számítási csomópontokra az adatok gyűjtéséhez és elemzéséhez:

A különböző bővítmények és ügynökök, valamint az általuk gyűjtött adatok összehasonlításához tekintse meg az ügynökök összehasonlítása című témakört.

Azure-tevékenységnapló

A tevékenységnapló előfizetésszintű eseményeket tartalmaz, amelyek nyomon követik az egyes Azure-erőforrások műveleteit az adott erőforráson kívülről látható módon; például új erőforrás létrehozása vagy virtuális gép indítása.

Gyűjtemény: A tevékenységnapló-események automatikusan létrejönnek, és egy külön tárolóban lesznek összegyűjtve az Azure Portalon való megtekintéshez.

Útválasztás: Tevékenységnapló-adatokat küldhet az Azure Monitor-naplókba, hogy más naplóadatokkal együtt elemezhesse azokat. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. A tevékenységnapló irányításával kapcsolatos további információkért tekintse meg az Azure-tevékenységnapló áttekintését.

A Batch-fiókok esetében a tevékenységnapló összegyűjti a fióklétrehozáshoz, a törléshez és a kulcskezeléshez kapcsolódó eseményeket.

Monitorozási adatok elemzése

A monitorozási adatok elemzésére számos eszköz áll rendelkezésre.

Azure Monitor-eszközök

Az Azure Monitor a következő alapvető eszközöket támogatja:

Az összetettebb vizualizációt lehetővé tevő eszközök a következők:

  • Irányítópultok , amelyek lehetővé teszik, hogy különböző típusú adatokat egyesítsen egyetlen panelen az Azure Portalon.
  • Az Azure Portalon létrehozható munkafüzetek, testreszabható jelentések. A munkafüzetek tartalmazhatnak szöveget, metrikákat és napló lekérdezéseket.
  • Grafana, egy nyíltplatformos eszköz, amely kiválóan működik az irányítópultokon. A Grafana használatával olyan irányítópultokat hozhat létre, amelyek az Azure Monitoron kívül több forrásból származó adatokat is tartalmaznak.
  • A Power BI egy üzleti elemzési szolgáltatás, amely interaktív vizualizációkat biztosít különböző adatforrásokban. A Power BI-t úgy konfigurálhatja, hogy automatikusan importálja a naplóadatokat az Azure Monitorból a vizualizációk előnyeinek kihasználásához.

A darabszámalapú Batch-metrikák, például a dedikált magok száma vagy az alacsony prioritású csomópontok száma elemzéséhez használja az Avg aggregációt. Az olyan eseményalapú metrikák esetében, mint a Készlet átméretezése befejezett események, használja a Darabszám aggregációt. Kerülje a Sum aggregáció használatát, amely összeadja a diagram időszaka során kapott összes adatpont értékét.

Az Azure Monitor exportálási eszközei

Az Azure Monitorból más eszközökre is lekérheti az adatokat az alábbi módszerekkel:

Az Azure MonitorHOZ készült REST API használatának megkezdéséhez tekintse meg az Azure monitoring REST API-útmutatót.

Kusto-lekérdezések

A monitorozási adatokat az Azure Monitor Naplók/ Log Analytics-tárolóban a Kusto lekérdezési nyelv (KQL) használatával elemezheti.

Fontos

Amikor a portálon a szolgáltatás menüjében a Naplók lehetőséget választja, megnyílik a Log Analytics, és a lekérdezés hatóköre az aktuális szolgáltatásra van állítva. Ez a hatókör azt jelenti, hogy a napló lekérdezései csak az adott típusú erőforrásból származó adatokat tartalmazzák. Ha más Azure-szolgáltatásokból származó adatokat tartalmazó lekérdezést szeretne futtatni, válassza a Naplók lehetőséget az Azure Monitor menüjében. A részletekért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.

A szolgáltatások gyakori lekérdezéseinek listáját a Log Analytics lekérdezési felületén találja.

Minta lekérdezések

Íme néhány mintanapló-lekérdezés a Batchhez:

Készlet átméretezése: Készlet és eredménykód (sikeres vagy sikertelen) szerint sorolja fel az átméretezés idejét:

AzureDiagnostics
| where OperationName=="PoolResizeCompleteEvent"
| summarize operationTimes=make_list(startTime_s) by poolName=id_s, resultCode=resultCode_s

Tevékenység időtartama: Másodpercek alatt adja meg a tevékenységek eltelt idejét a tevékenység kezdetétől a tevékenység befejezéséig.

AzureDiagnostics
| where OperationName=="TaskCompleteEvent"
| extend taskId=id_s, ElapsedTime=datetime_diff('second', executionInfo_endTime_t, executionInfo_startTime_t) // For longer running tasks, consider changing 'second' to 'minute' or 'hour'
| summarize taskList=make_list(taskId) by ElapsedTime

Feladatonként meghiúsult tevékenységek: A sikertelen feladatokat szülőfeladat szerint listázza.

AzureDiagnostics
| where OperationName=="TaskFailEvent"
| summarize failedTaskList=make_list(id_s) by jobId=jobId_s, ResourceId

Riasztások

Az Azure Monitor-riasztások proaktív módon értesítik, ha adott feltételek találhatók a monitorozási adatokban. A riasztások lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt az ügyfelek észrevennénk őket. További információ: Azure Monitor-riasztások.

Az Azure-erőforrásokra vonatkozó gyakori riasztások számos forrásból állnak. Az Azure-erőforrásokra vonatkozó gyakori riasztások példáiért lásd a naplóriasztási lekérdezéseket. Az Azure Monitor Alapszintű riasztások (AMBA) webhelye félautomata módszert biztosít a fontos platformmetrika-riasztások, irányítópultok és irányelvek implementálására. A webhely az Azure-szolgáltatások folyamatosan bővülő részhalmazára vonatkozik, beleértve az Azure Landing Zone (ALZ) részét képező összes szolgáltatást is.

A gyakori riasztási séma szabványosítja az Azure Monitor riasztási értesítéseinek használatát. További információ: Gyakori riasztási séma.

Riasztások típusai

Az Azure Monitor adatplatformon bármilyen metrika- vagy naplóadatforrásról riasztást készíthet. A figyelt szolgáltatásoktól és a gyűjtött monitorozási adatoktól függően számos különböző típusú riasztás létezik. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek. További információ: A megfelelő figyelési riasztástípus kiválasztása.

Az alábbi lista a létrehozható Azure Monitor-riasztások típusait ismerteti:

  • A metrikariasztások rendszeres időközönként értékelik ki az erőforrásmetrikákat. A metrikák lehetnek platformmetrikák, egyéni metrikák, az Azure Monitorból metrikákká konvertált naplók vagy alkalmazás Elemzések metrikák. A metrikariasztások több feltételt és dinamikus küszöbértéket is alkalmazhatnak.
  • A naplóriasztások lehetővé teszik, hogy a felhasználók Log Analytics-lekérdezéssel kiértékeljék az erőforrásnaplókat egy előre meghatározott gyakorisággal.
  • A tevékenységnapló-riasztások akkor aktiválnak, ha egy új tevékenységnapló-esemény következik be, amely megfelel a megadott feltételeknek. A Resource Health-riasztások és a Service Health-riasztások olyan tevékenységnapló-riasztások, amelyek jelentést jelentenek a szolgáltatásról és az erőforrás állapotáról.

Egyes Azure-szolgáltatások intelligens észlelési riasztásokat, Prometheus-riasztásokat vagy ajánlott riasztási szabályokat is támogatnak.

Egyes szolgáltatások esetében nagy léptékben monitorozhat, ha ugyanazt a metrikariasztási szabályt több, azonos típusú erőforrásra alkalmazza, amelyek ugyanabban az Azure-régióban léteznek. Minden figyelt erőforráshoz külön értesítéseket küld a rendszer. A támogatott Azure-szolgáltatásokról és felhőkről lásd : Több erőforrás monitorozása egyetlen riasztási szabmánnyal.

Feljegyzés

Ha olyan alkalmazást hoz létre vagy futtat, amely a szolgáltatáson fut, az Azure Monitor alkalmazáselemzései több típusú riasztást is kínálhatnak.

Batch-riasztási szabályok

Mivel a metrika kézbesítése olyan inkonzisztenciáktól függhet, mint például a rendelésen kívüli kézbesítés, az adatvesztés vagy a duplikáció, kerülnie kell az egyetlen adatponton aktiváló riasztásokat. Ehelyett használjon küszöbértékeket ezeknek az inkonzisztenciáknak a figyelembe vételéhez egy adott időszakban.

Előfordulhat például, hogy metrikariasztást szeretne konfigurálni, ha az alacsony prioritású magok száma egy bizonyos szintre esik. Ezt a riasztást a készletek összetételének módosításához használhatja. A legjobb eredmény érdekében állítson be egy 10 vagy több perces időszakot, ahol a riasztás akkor aktiválódik, ha az alacsony prioritású magok átlagos száma alacsonyabb, mint a teljes időszak küszöbértéke. Ez az időszak lehetővé teszi a metrikák összesítését, hogy pontosabb eredményeket kapjon.

Az alábbi táblázat felsorol néhány riasztási szabály eseményindítót a Batchhez. Ezek a riasztási szabályok csak példák. Riasztásokat állíthat be a Batch monitorozási adatreferenciájában felsorolt metrikákhoz, naplóbejegyzésekhez vagy tevékenységnapló-bejegyzésekhez.

Riasztástípus Feltétel Leírás
Metrika Használhatatlan csomópontok száma Ha a használhatatlan csomópontok száma 0-nál nagyobb
Metrika Feladatütemezési események Ha a teljes feladathibás esemény nagyobb, mint a dinamikus küszöbérték

Az Advisor javaslatai

Egyes szolgáltatások esetében, ha az erőforrás-műveletek során kritikus feltételek vagy közelgő változások lépnek fel, riasztás jelenik meg a portál szolgáltatásáttekintő lapján. A riasztással kapcsolatos további információkat és javasolt javításokat a bal oldali menü Figyelés területén található Advisor-javaslatok között találja. Normál műveletek során nem jelennek meg tanácsadói javaslatok.

Az Azure Advisorról további információt az Azure Advisor áttekintésében talál.

Egyéb Batch-figyelési lehetőségek

A Batch Explorer egy ingyenes, gazdag funkcionalitású, önálló ügyféleszköz az Azure Batch-alkalmazások létrehozásához, hibakereséséhez és monitorozásához. Az Azure Batch Elemzések a Batch Explorerrel lekérheti a Batch-csomópontok rendszerstatisztikáit, például a virtuális gépek teljesítményszámlálóit.

A Batch-alkalmazásokban a Batch .NET-kódtár használatával figyelheti vagy lekérdezheti az erőforrások állapotát, beleértve a feladatokat, feladatokat, csomópontokat és készleteket. Példa:

  • A tevékenység állapotának figyelése.
  • A csomópont állapotának figyelése.
  • A készlet állapotának figyelése.
  • A fiók készlethasználatának figyelése.
  • Készletcsomópontok megszámlálása állapot szerint.

A Batch API-k használatával lista lekérdezéseket hozhat létre a Batch-feladatokhoz, feladatokhoz, számítási csomópontokhoz és egyéb erőforrásokhoz. A lista típusú lekérdezések szűréséről további információt a Batch-erőforrások hatékony listázására szolgáló lekérdezések létrehozása című témakörben talál.

Vagy a nagy mennyiségű tevékenységről vagy csomópontról részletes információkat visszagyűjtő, időigényes lista lekérdezések helyett a Tevékenységszám és a Listakészlet csomópontszámának lekérése művelettel lekérheti a Batch-tevékenységek és számítási csomópontok számát. További információ: Batch-megoldások monitorozása feladatok és csomópontok állapot szerinti számlálásával.

Az Alkalmazás Elemzések integrálhatja az Azure Batch-alkalmazásokkal a kód egyéni metrikákkal és nyomkövetéssel való kialakításához. Részletes útmutató az Alkalmazás Elemzések Batch .NET-megoldáshoz való hozzáadásához, a rendszeralkalmazás kódjához, az alkalmazás Azure Portalon való figyeléséhez és egyéni irányítópultok létrehozásához: Azure Batch .NET-alkalmazások monitorozása és hibakeresése az Alkalmazás Elemzések és a kísérő kódmintával.

Kapcsolódó tartalom