Az Azure Data Factory monitorozása

Ez a cikk a következőket ismerteti:

• A szolgáltatáshoz gyűjthető monitorozási adatok típusai.
• Az adatok elemzésének módjai.

Feljegyzés

Ha már ismeri ezt a szolgáltatást és/vagy az Azure Monitort, és csak tudni szeretné, hogyan elemezheti a figyelési adatokat, tekintse meg a cikk végén található Elemzés szakaszt.

Ha olyan kritikus alkalmazásokkal és üzleti folyamatokkal rendelkezik, amelyek Az Azure-erőforrásokra támaszkodnak, figyelnie kell és riasztásokat kell kapnia a rendszeréről. Az Azure Monitor szolgáltatás a rendszer minden összetevőjéből gyűjti és összesíti a metrikákat és naplókat. Az Azure Monitor áttekintést nyújt a rendelkezésre állásról, a teljesítményről és a rugalmasságról, és értesíti Önt a problémákról. A monitorozási adatok beállításához és megtekintéséhez használhatja az Azure Portalt, a PowerShellt, az Azure CLI-t, a REST API-t vagy az ügyfélkódtárakat.

• Az Azure Monitorral kapcsolatos további információkért tekintse meg az Azure Monitor áttekintését.
• Az Azure-erőforrások általános monitorozásával kapcsolatos további információkért lásd : Azure-erőforrások monitorozása az Azure Monitorral.

Monitorozási módszerek

Az Azure Data Factory monitorozásának számos módja van.

Azure Data Factory Studio

Az Azure Data Factory Studióban natív módon figyelheti az összes Data Factory-folyamatot. A monitorozási felület megnyitásához válassza a Start Studio lehetőséget a Data Factory oldalán az Azure Portalon, az Azure Data Factory Studióban pedig a figyelés lehetőséget a bal oldali menüből.

Az Azure Data Factory Studio monitorozásával kapcsolatos további információkért tekintse meg az alábbi cikkeket:

• Az Azure Data Factory vizuális monitorozása
• Adatfolyam-figyelés
• Másolási tevékenység figyelése
• Munkamenetnapló egy Copy tevékenység

Azure Portal

Az Azure Data Factoryt közvetlenül az Azure Portalról is figyelheti. A Data Factory Azure Portal áttekintési oldalán számos metrikariagráf jelenik meg. A bal oldali oldalsáv menüjében elérheti az Azure-tevékenységnaplót, vagy a Figyelés szakaszban kiválaszthatja a Riasztások, Metrikák, Diagnosztikai beállítások vagy Naplók lehetőséget.

Monitorozás programozott módon

A Data Factory-folyamatokat programozott módon monitorozhatja a .NET, a PowerShell, a Python vagy a REST API használatával. További információért tekintse át az alábbi cikkeket:

• Az Azure Data Factory programozott monitorozása
• Diagnosztikai naplók beállítása az Azure Monitor REST API-val

Erőforrástípusok

Az Azure az erőforrástípusok és azonosítók fogalmát használja az előfizetések minden elemének azonosítására. Az Azure Monitor hasonlóan rendszerezi az alapvető monitorozási adatokat metrikákba és naplókba az erőforrástípusok, más néven névterek alapján. Különböző metrikák és naplók érhetők el a különböző erőforrástípusokhoz. Előfordulhat, hogy a szolgáltatás több erőforrástípushoz is társítva van.

Az erőforrástípusok az Azure-ban futó összes erőforrás erőforrásazonosítóinak is részét képezik. A virtuális gépek egyik erőforrástípusa például az Microsoft.Compute/virtualMachines. A szolgáltatások és a hozzájuk kapcsolódó erőforrástípusok listáját az Erőforrás-szolgáltatók című témakörben találja.

Az Azure Data Factory erőforrástípusairól további információt a Data Factory monitorozási adatainak referenciaanyagában talál.

Adattárolás

Azure Monitor esetén:

• A metrikák adatait az Azure Monitor metrikák adatbázisa tárolja.
• A naplóadatok tárolása az Azure Monitor naplók tárolójában történik. A Log Analytics egy eszköz az Azure Portalon, amely le tudja kérdezni ezt az áruházat.
• Az Azure-tevékenységnapló egy külön tároló, amelynek saját felülete van az Azure Portalon.

A metrikák és a tevékenységnaplók adatait igény szerint átirányíthatja az Azure Monitor-naplók tárolójába. Ezután a Log Analytics használatával lekérdezheti az adatokat, és összehasonlíthatja azokat más naplóadatokkal.

Számos szolgáltatás diagnosztikai beállításokkal küldhet metrikákat és naplóadatokat az Azure Monitoron kívüli más tárolóhelyekre. Ilyenek például az Azure Storage, a üzemeltetett partnerrendszerek és a nem Azure-beli partnerrendszerek az Event Hubs használatával.

Az Azure Monitor adatainak tárolásáról az Azure Monitor adatplatformja nyújt részletes tájékoztatást.

Data Factory-folyamat futtatási adatainak tárolása

A Data Factory csak 45 napig tárolja a folyamatfuttatási adatokat. Ha hosszabb ideig szeretné megőrizni az adatokat, az Azure Monitor használatával irányíthatja a diagnosztikai naplókat.

Ha összetett lekérdezésekkel szeretné elemezni az adatokat, egyéni riasztásokat szeretne létrehozni, vagy adat-előállítókon keresztül szeretné figyelni az adatokat a Log Analyticsbe. Több adat-előállító adatait egyetlen Log Analytics-munkaterületre irányíthatja.

Használhat olyan tárfiókot vagy eseményközpont-névteret, amely nem szerepel a naplókat kibocsátó erőforrás előfizetésében. A beállítást konfiguráló felhasználónak megfelelő Azure-szerepköralapú hozzáférés-vezérlési (Azure RBAC) hozzáféréssel kell rendelkeznie mindkét előfizetéshez.

Az Azure Monitor platformmetrikái

Az Azure Monitor platformmetrikát biztosít a legtöbb szolgáltatáshoz. Ezek a metrikák a következők:

• Egyedileg definiálva minden névtérhez.
• Az Azure Monitor idősoros metrikák adatbázisában tárolva.
• Könnyű és képes közel valós idejű riasztások támogatására.
• Egy erőforrás teljesítményének nyomon követésére szolgál az idő függvényében.

Gyűjtemény: Az Azure Monitor automatikusan gyűjti a platformmetrikákat. Nem igényel konfigurálást.

Útválasztás: A platformmetrikákat általában az Azure Monitor-naplókhoz/Log Analyticshez is átirányíthatja, így más naplóadatokkal is lekérdezheti őket. További információt a Metrikák diagnosztikai beállításában talál. A szolgáltatás diagnosztikai beállításainak konfigurálásához lásd : Diagnosztikai beállítások létrehozása az Azure Monitorban.

Az Azure Monitor összes erőforrásához gyűjthető metrikák listájáért tekintse meg az Azure Monitor támogatott metrikáit.

A Data Factoryhez elérhető metrikák listájáért tekintse meg a Data Factory monitorozási adatreferenciáját.

Azure Monitor-erőforrásnaplók

Az erőforrásnaplók betekintést nyújtanak az Azure-erőforrások által végrehajtott műveletekbe. A naplók automatikusan jönnek létre, de a mentésükhöz vagy lekérdezésükhöz az Azure Monitor naplóihoz kell irányítani őket. A naplók kategóriákba vannak rendezve. Egy adott névtér több erőforrásnapló-kategóriával is rendelkezhet.

Gyűjtemény: Az erőforrásnaplók csak akkor lesznek összegyűjtve és tárolva, ha diagnosztikai beállítást hoz létre, és a naplókat egy vagy több helyre irányítja. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállításokat többféleképpen is létrehozhatja és karbantarthatja, beleértve az Azure Portalt is, programozott módon, és bár az Azure Policyt.

Útválasztás: A javasolt alapértelmezett beállítás az erőforrásnaplók Azure Monitor-naplókba való átirányítása, hogy más naplóadatokkal is lekérdezhesse őket. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. További információ: Azure-erőforrásnaplók és erőforrásnapló-célhelyek.

Az erőforrásnaplók gyűjtésével, tárolásával és útválasztásával kapcsolatos részletes információkért tekintse meg az Azure Monitor diagnosztikai beállításait.

Az Azure Monitor összes elérhető erőforrásnapló-kategóriájának listáját lásd: Támogatott erőforrásnaplók az Azure Monitorban.

Az Azure Monitor összes erőforrásnaplója ugyanazokkal a fejlécmezőkkel rendelkezik, amelyeket a szolgáltatásspecifikus mezők követnek. A közös sémát az Azure Monitor erőforrásnapló-sémája ismerteti.

• Az elérhető Data Factory-erőforrásnapló-kategóriák, a hozzájuk tartozó Log Analytics-táblák és a naplós sémák esetében lásd a Data Factory monitorozási adatreferenciáját.

• A diagnosztikai beállítások és a Log Analytics-munkaterület Data Factory monitorozásához való konfigurálásához tekintse meg a diagnosztikai beállítások és a munkaterület konfigurálását ismertető témakört.

Azure-tevékenységnapló

A tevékenységnapló előfizetésszintű eseményeket tartalmaz, amelyek nyomon követik az egyes Azure-erőforrások műveleteit az adott erőforráson kívülről látható módon; például új erőforrás létrehozása vagy virtuális gép indítása.

Gyűjtemény: A tevékenységnapló-események automatikusan létrejönnek, és egy külön tárolóban lesznek összegyűjtve az Azure Portalon való megtekintéshez.

Útválasztás: Tevékenységnapló-adatokat küldhet az Azure Monitor-naplókba, hogy más naplóadatokkal együtt elemezhesse azokat. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. A tevékenységnapló irányításával kapcsolatos további információkért tekintse meg az Azure-tevékenységnapló áttekintését.

Integrációs futtatókörnyezetek monitorozása

Az integrációs modul az a számítási infrastruktúra, a Data Factory, amely különböző hálózati környezetekben biztosít adatintegrációs képességeket. A Data Factory többféle integrációs modult kínál:

• Azure integrációs modul
• Helyi integrációs modul
• Azure-SQL Server Integration Services (SSIS) integrációs modul
• Apache Airflow integrációs modul

Az Azure Monitor metrikákat és diagnosztikai naplókat gyűjt az integrációs futtatókörnyezetek minden típusához. Az integrációs futtatókörnyezetek monitorozásával kapcsolatos részletes utasításokért tekintse meg az alábbi cikkeket:

• Integrációs modul monitorozása az Azure Data Factoryben
• Integrációs modul figyelése felügyelt virtuális hálózaton belül
• Saját üzemeltetésű integrációs modul monitorozása az Azure-ban
• Saját üzemeltetésű integrációs modul konfigurálása a log analytics-gyűjteményhez
• SSIS-műveletek monitorozása az Azure Monitorral
• Diagnosztikai naplók és metrikák az Apache Airflow-hoz

Monitorozási adatok elemzése

A monitorozási adatok elemzésére számos eszköz áll rendelkezésre.

Azure Monitor-eszközök

Az Azure Monitor a következő alapvető eszközöket támogatja:

• A Metrics Explorer egy eszköz az Azure Portalon, amely lehetővé teszi az Azure-erőforrások mérőszámainak megtekintését és elemzését. További információ: Metrikák elemzése az Azure Monitor metrikakezelőjével.

• A Log Analytics egy eszköz az Azure Portalon, amely lehetővé teszi a naplóadatok lekérdezését és elemzését a Kusto lekérdezési nyelv (KQL) használatával. További információ: A napló lekérdezéseinek első lépései az Azure Monitorban.

• A tevékenységnapló, amely egy felhasználói felülettel rendelkezik az Azure Portalon a megtekintéshez és az alapszintű keresésekhez. A részletesebb elemzéshez át kell irányítania az adatokat az Azure Monitor-naplókba, és összetettebb lekérdezéseket kell futtatnia a Log Analyticsben.

Az összetettebb vizualizációt lehetővé tevő eszközök a következők:

• Irányítópultok , amelyek lehetővé teszik, hogy különböző típusú adatokat egyesítsen egyetlen panelen az Azure Portalon.
• Az Azure Portalon létrehozható munkafüzetek, testreszabható jelentések. A munkafüzetek tartalmazhatnak szöveget, metrikákat és napló lekérdezéseket.
• Grafana, egy nyíltplatformos eszköz, amely kiválóan működik az irányítópultokon. A Grafana használatával olyan irányítópultokat hozhat létre, amelyek az Azure Monitoron kívül több forrásból származó adatokat is tartalmaznak.
• A Power BI egy üzleti elemzési szolgáltatás, amely interaktív vizualizációkat biztosít különböző adatforrásokban. A Power BI-t úgy konfigurálhatja, hogy automatikusan importálja a naplóadatokat az Azure Monitorból a vizualizációk előnyeinek kihasználásához.

Az Azure Monitor exportálási eszközei

Az Azure Monitorból más eszközökre is lekérheti az adatokat az alábbi módszerekkel:

• Metrikák: Metrikákhoz használja a REST API-t metrikaadatok kinyeréséhez az Azure Monitor metrika-adatbázisából. Az API támogatja a szűrőkifejezéseket a lekért adatok finomításához. További információ: Azure Monitor REST API-referencia.

• Naplók: Használja a REST API-t vagy a kapcsolódó ügyfélkódtárakat.

• Egy másik lehetőség a munkaterület adatexportálása.

Az Azure MonitorHOZ készült REST API használatának megkezdéséhez tekintse meg az Azure monitoring REST API-útmutatót.

A diagnosztikai naplók REST API-val történő konfigurálásával kapcsolatos részletes utasításokért lásd : Diagnosztikai naplók beállítása az Azure Monitor REST API-n keresztül.

Kusto-lekérdezések

A monitorozási adatokat az Azure Monitor Naplók/ Log Analytics-tárolóban a Kusto lekérdezési nyelv (KQL) használatával elemezheti.

Fontos

Amikor a portálon a szolgáltatás menüjében a Naplók lehetőséget választja, megnyílik a Log Analytics, és a lekérdezés hatóköre az aktuális szolgáltatásra van állítva. Ez a hatókör azt jelenti, hogy a napló lekérdezései csak az adott típusú erőforrásból származó adatokat tartalmazzák. Ha más Azure-szolgáltatásokból származó adatokat tartalmazó lekérdezést szeretne futtatni, válassza a Naplók lehetőséget az Azure Monitor menüjében. A részletekért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.

A szolgáltatások gyakori lekérdezéseinek listáját a Log Analytics lekérdezési felületén találja.

Például lekérdezések esetén válassza a Naplók lehetőséget a Monitorozás alatt a Data Factory lap bal oldali navigációs sávján az Azure Portalon, majd válassza a Lekérdezések lapot. Íme néhány példa lekérdezés:

PipelineRuns rendelkezésre állása: Megadja a folyamatfuttatások rendelkezésre állását.

ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count())  by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart

A tevékenység az első 5 hibát futtatja: Az első öt olyan tevékenységet adja vissza, amelyek rendszerhibákkal meghiúsulnak.

ADFActivityRun 
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName  in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart

Folyamatfuttatások legújabb állapota: A folyamatfuttatások legújabb állapotát adja vissza.

ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId

Riasztások

Az Azure Monitor-riasztások proaktív módon értesítik, ha adott feltételek találhatók a monitorozási adatokban. A riasztások lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt az ügyfelek észrevennénk őket. További információ: Azure Monitor-riasztások.

Az Azure-erőforrásokra vonatkozó gyakori riasztások számos forrásból állnak. Az Azure-erőforrásokra vonatkozó gyakori riasztások példáiért lásd a naplóriasztási lekérdezéseket. Az Azure Monitor Alapszintű riasztások (AMBA) webhelye félautomata módszert biztosít a fontos platformmetrika-riasztások, irányítópultok és irányelvek implementálására. A webhely az Azure-szolgáltatások folyamatosan bővülő részhalmazára vonatkozik, beleértve az Azure Landing Zone (ALZ) részét képező összes szolgáltatást is.

A gyakori riasztási séma szabványosítja az Azure Monitor riasztási értesítéseinek használatát. További információ: Gyakori riasztási séma.

Riasztások típusai

Az Azure Monitor adatplatformon bármilyen metrika- vagy naplóadatforrásról riasztást készíthet. A figyelt szolgáltatásoktól és a gyűjtött monitorozási adatoktól függően számos különböző típusú riasztás létezik. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek. További információ: A megfelelő figyelési riasztástípus kiválasztása.

Az alábbi lista a létrehozható Azure Monitor-riasztások típusait ismerteti:

• A metrikariasztások rendszeres időközönként értékelik ki az erőforrásmetrikákat. A metrikák lehetnek platformmetrikák, egyéni metrikák, az Azure Monitorból metrikákká konvertált naplók vagy alkalmazás Elemzések metrikák. A metrikariasztások több feltételt és dinamikus küszöbértéket is alkalmazhatnak.
• A naplóriasztások lehetővé teszik, hogy a felhasználók Log Analytics-lekérdezéssel kiértékeljék az erőforrásnaplókat egy előre meghatározott gyakorisággal.
• A tevékenységnapló-riasztások akkor aktiválnak, ha egy új tevékenységnapló-esemény következik be, amely megfelel a megadott feltételeknek. A Resource Health-riasztások és a Service Health-riasztások olyan tevékenységnapló-riasztások, amelyek jelentést jelentenek a szolgáltatásról és az erőforrás állapotáról.

Egyes Azure-szolgáltatások intelligens észlelési riasztásokat, Prometheus-riasztásokat vagy ajánlott riasztási szabályokat is támogatnak.

Egyes szolgáltatások esetében nagy léptékben monitorozhat, ha ugyanazt a metrikariasztási szabályt több, azonos típusú erőforrásra alkalmazza, amelyek ugyanabban az Azure-régióban léteznek. Minden figyelt erőforráshoz külön értesítéseket küld a rendszer. A támogatott Azure-szolgáltatásokról és felhőkről lásd : Több erőforrás monitorozása egyetlen riasztási szabmánnyal.

Data Factory riasztási szabályai

Riasztások létrehozásához és kezeléséhez válassza a Riasztások lehetőséget a Monitorozás területen a Data Factory bal oldali navigációs sávján az Azure Portalon.

Az alábbi táblázat a Data Factory népszerű riasztási szabályait sorolja fel. Ez csak egy ajánlott lista. Riasztásokat állíthat be a Data Factory monitorozási adatreferenciájában felsorolt metrikákhoz, naplóbejegyzésekhez vagy tevékenységnapló-bejegyzésekhez.

Riasztástípus	Feltétel	Leírás
Metrika	A sikertelen folyamat metrikákat futtat	Ha a teljes sikertelen folyamat futtatása metrikái 0-nál nagyobbak
Metrika	Entitások teljes száma	Ha a teljes entitások maximális száma nagyobb, mint 1700000
Metrika	Engedélyezett entitások maximális száma	Ha a maximális gyári méret (GB-egység) nagyobb, mint 6

Az értesítések proaktív riasztást biztosítanak egy folyamat végrehajtása során vagy után.

• E-mail küldése Azure Data Factory-folyamattal , amely bemutatja, hogyan konfigurálhatja az e-mail-értesítéseket a folyamatriasztásokból.
• Értesítések küldése egy Microsoft Teams-csatornára egy Azure Data Factory-folyamatból , amely bemutatja, hogyan konfigurálhat értesítéseket a folyamatriasztásokból a Microsoft Teamsbe.

Az Advisor javaslatai

Egyes szolgáltatások esetében, ha az erőforrás-műveletek során kritikus feltételek vagy közelgő változások lépnek fel, riasztás jelenik meg a portál szolgáltatásáttekintő lapján. A riasztással kapcsolatos további információkat és javasolt javításokat a bal oldali menü Figyelés területén található Advisor-javaslatok között találja. Normál műveletek során nem jelennek meg tanácsadói javaslatok.

Az Azure Advisorról további információt az Azure Advisor áttekintésében talál.

Kapcsolódó tartalom

• A Data Factory számára létrehozott metrikák, naplók és egyéb fontos értékek referenciáját a Data Factory monitorozási adathivatkozásában talál.
• Az Azure-erőforrások monitorozásával kapcsolatos általános részletekért tekintse meg az Azure-erőforrások Monitorozása az Azure Monitorral című témakört.