DcR-gegevensverzameling bewaken en problemen oplossen in Azure Monitor

Artikel
03/05/2024

Dit artikel bevat gedetailleerde metrische gegevens en logboeken die u kunt gebruiken om de prestaties te bewaken en eventuele problemen met betrekking tot het verzamelen van gegevens in Azure Monitor op te lossen. Deze telemetrie is momenteel beschikbaar voor scenario's voor gegevensverzameling die zijn gedefinieerd door een DCR (Data Collection Rules), zoals de Azure Monitor-agent en logboekopname-API.

Belangrijk

Dit artikel verwijst alleen naar scenario's voor gegevensverzameling die gebruikmaken van DCR's, waaronder de volgende:

Logboeken die worden verzameld met behulp van Azure Monitor Agent (AMA)
Logboeken die zijn opgenomen met behulp van logboekopname-API
Logboeken die worden verzameld door andere methoden die gebruikmaken van een DCR voor werkruimtetransformatie

Raadpleeg de documentatie voor andere scenario's voor informatie over bewaking en probleemoplossing die mogelijk beschikbaar zijn.

Diagnostische DCR-functies omvatten metrische gegevens en foutenlogboeken die worden verzonden tijdens het verwerken van logboeken. DCR-metrische gegevens bieden informatie over het volume van gegevens dat wordt opgenomen, het aantal en de aard van eventuele verwerkingsfouten en statistieken met betrekking tot gegevenstransformatie. DCR-foutlogboeken worden gegenereerd wanneer de gegevensverwerking niet lukt en de gegevens bereiken de bestemming niet.

DCR-foutenlogboeken

Er worden foutenlogboeken gegenereerd wanneer gegevens de Azure Monitor-opnamepijplijn bereiken, maar de bestemming ervan niet bereikt. Voorbeelden van foutvoorwaarden zijn:

Fouten bij het bezorgen van logboeken
Transformatiefouten waarbij de structuur van de logboeken de transformatieKQL ongeldig maakt
API-aanroepen voor logboekopname:
- met een ander HTTP-antwoord dan 200/202
- met nettolading met ongeldige gegevens
- met nettolading boven eventuele opnamelimieten
- beperking vanwege overschrijding van limieten voor API-aanroepen

Om overmatige logboekregistratie van permanente fouten met betrekking tot dezelfde gegevensstroom te voorkomen, worden sommige fouten slechts een beperkt aantal keren per uur geregistreerd, gevolgd door een samenvattingsfoutbericht. De fout wordt vervolgens gedempt tot het einde van het uur. Het aantal keren dat een bepaalde fout wordt geregistreerd, kan variëren, afhankelijk van de regio waarin DCR is geïmplementeerd.

Sommige fouten bij het opnemen van logboeken worden niet vastgelegd omdat ze niet kunnen worden gekoppeld aan een DCR. De volgende fouten worden mogelijk niet vastgelegd:

Fouten veroorzaakt door onjuiste aanroep-URI (HTTP-antwoordcode 404)
Bepaalde interne serverfouten (HTTP-antwoordcode 500)

DCR-foutenlogboeken inschakelen

DCR-foutenlogboeken worden geïmplementeerd als resourcelogboeken in Azure Monitor. Schakel logboekverzameling in door een diagnostische instelling voor de DCR te maken. Voor elke DCR is een eigen diagnostische instelling vereist. Zie Diagnostische instellingen maken in Azure Monitor voor het gedetailleerde proces. Selecteer de categorie logboekfouten en verzenden naar Log Analytics-werkruimte. U kunt dezelfde werkruimte selecteren die wordt gebruikt door de DCR, of u kunt al uw foutenlogboeken in één werkruimte samenvoegen.

DCR-foutenlogboeken ophalen

Foutlogboeken worden geschreven naar de DCRLogErrors-tabel in de Log Analytics-werkruimte die u hebt opgegeven in de diagnostische instelling. Hieronder vindt u voorbeeldquery's die u in Log Analytics kunt gebruiken om deze logboeken op te halen.

Alle foutenlogboeken voor een bepaalde DCR ophalen

DCRLogErrors
| where _ResourceId == "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/microsoft.insights/datacollectionrules/my-dcr"

Alle foutenlogboeken voor een bepaalde invoerstroom in een bepaalde DCR ophalen

DCRLogErrors
| where _ResourceId == "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/microsoft.insights/datacollectionrules/my-dcr"
| where InputStream == "Custom-MyTable_CL"

Metrische DCR-gegevens

DCR-metrische gegevens worden automatisch verzameld voor alle DCR's en u kunt ze analyseren met behulp van Metrics Explorer , zoals de metrische platformgegevens voor andere Azure-resources. Invoerstroom is opgenomen als een dimensie, dus als u een DCR met meerdere invoerstromen hebt, kunt u deze analyseren door te filteren of te splitsen. Sommige metrische gegevens bevatten andere dimensies, zoals wordt weergegeven in de onderstaande tabel.

Metric	Afmetingen	Beschrijving
Logboekopnamebytes per min	Invoerstroom	Totaal aantal ontvangen bytes per minuut.
Logboekopnameaanvragen per min.	Invoerstroom Code van HTTP-antwoord	Aantal ontvangen oproepen per minuut
Logboekrijen verwijderd per min.	Invoerstroom	Het aantal logboekrijen dat is verwijderd tijdens de verwerking per minuut. Dit omvat rijen die zijn verwijderd vanwege filtercriteria in KQL-transformatie en rijen die zijn verwijderd vanwege fouten.
Logboekrijen ontvangen per min.	Invoerstroom	Aantal logboekrijen dat is ontvangen voor verwerking per minuut.
Logboektransformatieduur per min.	Invoerstroom	Gemiddelde KQL-transformatieruntime per minuut. Vertegenwoordigt de efficiëntie van KQL-transformatiecode. Gegevensstromen met langere uitvoeringstijd voor transformatie kunnen vertragingen in gegevensverwerking en grotere gegevenslatentie ervaren.
Logboektransformatiefouten per min.	Invoerstroom Fouttype	Aantal verwerkingsfouten per minuut

Veelvoorkomende problemen oplossen

Als u verwachte gegevens in uw Log Analytics-werkruimte mist, volgt u deze basisstappen om het probleem op te lossen. Hierbij wordt ervan uitgegaan dat u DCR-logboekregistratie hebt ingeschakeld zoals hierboven beschreven.

Controleer metrische gegevens, zoals Logs Ingestion Bytes per Min en Logs Rows Received per Min om ervoor te zorgen dat de gegevens Azure Monitor bereiken. Als dat niet het probleem is, controleert u de gegevensbron om ervoor te zorgen dat deze gegevens verzendt zoals verwacht.
Controleer Logs Rows Dropped per Min of er rijen worden verwijderd. Dit duidt mogelijk niet op een fout omdat de rijen kunnen worden verwijderd door een transformatie. Als de verwijderde rijen hetzelfde zijn als Logs Rows Dropped per Min deze, worden er geen gegevens opgenomen in de werkruimte. Bekijk de Logs Transformation Errors per Min om te zien of er transformatiefouten zijn.
Controleer Logs Transformation Errors per Min of er fouten zijn opgetreden in transformaties die zijn toegepast op de binnenkomende gegevens. Dit kan worden veroorzaakt door wijzigingen in de gegevensstructuur of de transformatie zelf.
Controleer op DCRLogErrors opnamefouten die mogelijk zijn vastgelegd. Dit kan aanvullende informatie bieden bij het identificeren van de hoofdoorzaak van het probleem.

Uw logboekopname bewaken

De volgende signalen kunnen nuttig zijn voor het bewaken van de status van uw logboekverzameling met DCR's. Maak waarschuwingsregels om deze voorwaarden te identificeren.

Signaal	Mogelijke oorzaken en acties
Nieuwe vermeldingen in `DCRErrorLogs` of plotseling veranderen in `Log Transform Errors`.	- Problemen met het instellen van de Logboekopname-API, zoals verificatie, toegang tot DCR of DCE, problemen met het aanroepen van nettoladingen. - Wijzigingen in de gegevensstructuur die KQL-transformatiefouten veroorzaken. - Wijzigingen in de configuratie van de gegevensbestemming die leiden tot storingen in de levering van gegevens.
Plotselinge verandering in `Logs Ingestion Bytes per Min`	- Wijzigingen in de configuratie van logboekopname op de client, inclusief AMA-instellingen. - Wijzigingen in de structuur van logboeken die worden verzonden.
Plotselinge verandering in verhouding tussen `Logs Ingestion Bytes per Min` en `Logs Rows Received per Min`	- Wijzigingen in de structuur van logboeken die worden verzonden. Bekijk de wijzigingen om ervoor te zorgen dat de gegevens correct worden verwerkt met KQL-transformatie.
Plotselinge verandering in `Logs Transformation Duration per Min`	- Wijzigingen in de structuur van logboeken die van invloed zijn op de efficiëntie van logboekfiltercriteria die zijn ingesteld in KQL-transformatie. Bekijk de wijzigingen om ervoor te zorgen dat de gegevens correct worden verwerkt met KQL-transformatie.
`Logs Ingestion Requests per Min` of `Logs Ingestion Bytes per Min` benaderen van api-servicelimieten voor logboekopname.	- Controleer en optimaliseer uw DCR-configuratie om beperking te voorkomen.

Waarschuwingen

In plaats van reactief problemen op te lossen, maakt u waarschuwingsregels om proactief op de hoogte te worden gesteld wanneer er een mogelijke foutvoorwaarde optreedt. De volgende tabel bevat voorbeelden van waarschuwingsregels die u kunt maken om uw logboekopname te bewaken.

Conditie	Meldingsdetails
Plotselinge wijzigingen van rijen die zijn verwijderd	Waarschuwingsregel voor metrische gegevens met behulp van een dynamische drempelwaarde voor `Logs Rows Dropped per Min`.
Aantal API-aanroepen dat servicelimieten nadert	Waarschuwingsregel voor metrische gegevens met behulp van een statische drempelwaarde voor `Logs Ingestion Requests per Min`. Stel de drempelwaarde in bij 12.000, wat de servicelimiet is voor maximale aanvragen/minuten per DCR.
Foutlogboeken	Waarschuwing voor logboekquery met behulp van `DCRLogErrors`. Gebruik een meting voor tabelrijen en drempelwaarde van 1 om te worden gewaarschuwd wanneer er fouten worden vastgelegd.