Översikt över Azure Monitor-pipeline
Azure Monitor-pipeline är en del av en ETL-liknande datainsamlingsprocess som förbättrar äldre datainsamlingsmetoder för Azure Monitor. Den här processen använder en gemensam datainmatningspipeline för alla datakällor och en standardmetod för konfiguration som är mer hanterbar och skalbar än andra metoder. Specifika fördelar med datainsamlingen med pipelinen är följande:
- Vanliga måluppsättningar för olika datakällor.
- Möjlighet att tillämpa en transformering för att filtrera eller ändra inkommande data innan den lagras.
- Konsekvent metod för konfiguration av olika datakällor.
- Skalbara konfigurationsalternativ som stöder infrastruktur som kod och DevOps-processer.
- Alternativ för gränspipeline i din egen miljö för att tillhandahålla avancerad skalbarhet, nätverkskonfigurationer i lager och periodisk anslutning.
Kommentar
När implementeringen är klar använder alla data som samlas in av Azure Monitor pipelinen. För närvarande stöds endast vissa datainsamlingsmetoder och de kan ha begränsade konfigurationsalternativ. Det finns ingen skillnad mellan data som samlas in med Azure Monitor-pipelinen och data som samlas in med hjälp av andra metoder. Alla data lagras tillsammans som loggar och mått, med stöd för Azure Monitor-funktioner som loggfrågor, aviseringar och arbetsböcker. Den enda skillnaden är i insamlingsmetoden.
Komponenter i pipelinedatainsamling
Datainsamling med Azure Monitor-pipelinen visas i diagrammet nedan. Alla data bearbetas via molnpipelinen, som automatiskt är tillgänglig i din prenumeration och inte behöver någon konfiguration. Varje samlingsscenario konfigureras i en datainsamlingsregel (DCR), som är en uppsättning instruktioner som beskriver information, till exempel schemat för inkommande data, en transformering för att eventuellt ändra data och målet där data ska skickas.
Vissa miljöer kan välja att implementera en lokal gränspipeline för att hantera datainsamling innan den skickas till molnet. Mer information om det här alternativet finns i gränspipeline .
Regler för datainsamling
Datainsamlingsregler (DCR) är uppsättningar med instruktioner som stöder datainsamling med hjälp av Azure Monitor-pipelinen. Beroende på scenariot anger dcrs sådan information som vilka data som ska samlas in, hur du transformerar dessa data och var de ska skickas. I vissa scenarier kan du använda Azure-portalen för att konfigurera datainsamling, medan andra scenarier kan kräva att du skapar och hanterar din egen DCR. Mer information om hur du skapar och arbetar med DCR finns i Datainsamlingsregler i Azure Monitor .
Transformeringar
Med transformeringar kan du ändra inkommande data innan de lagras i Azure Monitor. Det är KQL-frågor som definieras i DCR som körs i molnpipelinen. Mer information om hur du skapar och använder transformeringar finns i Datainsamlingstransformeringar i Azure Monitor .
Det specifika användningsfallet för Azure Monitor-pipelinen är:
- Minska kostnaderna. Ta bort onödiga poster eller kolumner för att spara på inmatningskostnader.
- Ta bort känsliga data. Filtrera eller fördunkla privata data.
- Berika data. Lägg till en beräknad kolumn för att förenkla loggfrågor.
- Formatera data. Ändra formatet för inkommande data så att det matchar schemat för måltabellen.
Edge-pipeline
Gränspipelinen utökar Azure Monitor-pipelinen till ditt eget datacenter. Den möjliggör insamling och routning av telemetridata i stor skala innan de levereras till Azure Monitor i Azure-molnet. Mer information om hur du konfigurerar en gränspipeline finns i Konfigurera en gränspipeline i Azure Monitor .
Det specifika användningsfallet för Azure Monitor Edge-pipelinen är:
- Skalbarhet. Gränspipelinen kan hantera stora mängder data från övervakade resurser som kan begränsas av andra insamlingsmetoder, till exempel Azure Monitor-agenten.
- Periodisk anslutning. Vissa miljöer kan ha otillförlitlig anslutning till molnet eller ha långa oväntade perioder utan anslutning. Gränspipelinen kan cachelagras lokalt och synkroniseras med molnet när anslutningen återställs.
- Skiktat nätverk. I vissa miljöer segmenteras nätverket och data kan inte skickas direkt till molnet. Gränspipelinen kan användas för att samla in data från övervakade resurser utan molnåtkomst och hantera anslutningen till Azure Monitor i molnet.
Scenarier för datainsamling
I följande tabell beskrivs de datainsamlingsscenarier som för närvarande stöds med hjälp av Azure Monitor-pipelinen. Mer information finns i länkarna i varje post.
| Scenario | beskrivning |
|---|---|
| Virtuella datorer | Installera Azure Monitor-agenten på en virtuell dator och associera den med en eller flera domänkontrollanter som definierar händelser och prestandadata som ska samlas in från klientoperativsystemet. Du kan utföra den här konfigurationen med hjälp av Azure-portalen så att du inte behöver redigera domänkontrollanten direkt. Se Samla in händelser och prestandaräknare från virtuella datorer med Azure Monitor Agent. |
| När du aktiverar VM-insikter på en virtuell dator distribueras Azure Monitor-agenten till telemetri från den virtuella datorklienten. DCR skapas automatiskt för att samla in en fördefinierad uppsättning prestandadata. Se Översikt över Aktivera VM Insights. |
|
| Containerinsikter | När du aktiverar Container Insights i ditt Kubernetes-kluster distribuerar det en containerbaserad version av Azure Monitor-agenten för att skicka loggar från klustret till en Log Analytics-arbetsyta. DCR skapas automatiskt, men du kan behöva ändra den för att anpassa dina samlingsinställningar. Se Konfigurera datainsamling i Container Insights med hjälp av datainsamlingsregeln. |
| API för logginmatning | Med API :et för logginmatning kan du skicka data till en Log Analytics-arbetsyta från valfri REST-klient. API-anropet anger dcr för att acceptera dess data och anger DCR-slutpunkten. DCR förstår strukturen för inkommande data, innehåller en transformering som säkerställer att data är i måltabellens format och anger en arbetsyta och tabell för att skicka transformerade data. Mer information finns i Loggar inmatnings-API i Azure Monitor. |
| Azure Event Hubs | Skicka data till en Log Analytics-arbetsyta från Azure Event Hubs. DCR definierar den inkommande strömmen och definierar omvandlingen för att formatera data för målarbetsytan och tabellen. Se Självstudie: Mata in händelser från Azure Event Hubs i Azure Monitor-loggar (offentlig förhandsversion). |
| DCR för arbetsytetransformering | DCR för arbetsytetransformering är en särskild DCR som är associerad med en Log Analytics-arbetsyta och gör att du kan utföra transformeringar på data som samlas in med hjälp av andra metoder. Du skapar en enskild DCR för arbetsytan och lägger till en transformering i en eller flera tabeller. Omvandlingen tillämpas på alla data som skickas till dessa tabeller via en metod som inte använder en DCR. Se DCR för arbetsytetransformering i Azure Monitor. |