Gegevens Azure Data Explorer, opdrachten, query's en tabellen bewaken met behulp van diagnostische logboeken
Azure Data Explorer is een snelle, volledig beheerde service voor gegevensanalyses waarmee grote hoeveelheden gegevens van toepassingen, websites, IoT-apparaten en dergelijke in real-time kunnen worden geanalyseerd. Azure Monitor diagnostische logboeken bevatten gegevens over de werking van Azure-resources. Azure Data Explorer maakt gebruik van diagnostische logboeken voor inzichten in opname, opdrachten, query's en tabellen. U kunt bewerkingslogboeken exporteren naar Azure Storage, Event Hub of Log Analytics om opname, opdrachten en querystatus te bewaken. Logboeken van Azure Storage en Azure Event Hub kunnen worden doorgeleid naar een tabel in Azure Data Explorer cluster voor verdere analyse.
Belangrijk
Diagnostische logboekgegevens kunnen gevoelige gegevens bevatten. Beperk de machtigingen van de logboekbestemming op basis van uw bewakingsbehoeften.
Vereisten
- Een Azure-abonnement. Maak een gratis Azure-account.
- Meld u aan bij de Azure-portal.
- Maak een cluster en database.
Diagnostische logboeken instellen voor een Azure Data Explorer cluster
Diagnostische logboeken kunnen worden gebruikt om het verzamelen van de volgende logboekgegevens te configureren:
Notitie
Opnamelogboeken worden ondersteund voor opname in de wachtrij naar het opname-eindpunt met behulp van SDK's, gegevensverbindingen en connectors.
Opnamelogboeken worden niet ondersteund voor streaming-opname, directe opname naar de engine, opname van query's of opdrachten voor instellen of toevoegen.
Notitie
Logboeken voor mislukte opname worden alleen gerapporteerd voor de uiteindelijke status van een opnamebewerking, in tegenstelling tot de metrische gegevens voor opnameresultaat, die worden uitgezonden voor tijdelijke fouten die intern opnieuw worden uitgevoerd.
- Geslaagde opnamebewerkingen:deze logboeken bevatten informatie over voltooide opnamebewerkingen.
- Mislukte opnamebewerkingen:deze logboeken bevatten gedetailleerde informatie over mislukte opnamebewerkingen, waaronder foutdetails.
- Batchbewerkingen vooropname: deze logboeken hebben gedetailleerde statistieken van batches die gereed zijn voor opname (duur, batchgrootte, aantal blobs en batchtypen).
De gegevens worden vervolgens gearchiveerd in een Storage-account, gestreamd naar een Event Hub of naar Log Analytics verzonden volgens uw specificaties.
Diagnostische logboeken inschakelen
Diagnostische logboeken zijn standaard uitgeschakeld. Als u diagnostische logboeken wilt inschakelen, moet u de volgende stappen uitvoeren:
Selecteer in Azure Portalde Azure Data Explorer clusterresource die u wilt bewaken.
Selecteer Diagnostische instellingen onder Controle.

Selecteer Diagnostische instellingen toevoegen.
In het venster Diagnostische instellingen:
- Voer de naam van een diagnostische instelling in.
- Selecteer een of meer doelen: een Log Analytics-werkruimte, een opslagaccount of een Event Hub.
- Selecteer de logboeken die moeten
SucceededIngestionworden verzameld:FailedIngestion, , , of , ofIngestionBatchingCommandQueryTableUsageStatisticsTableDetails. - Selecteer de metrische gegevens die moeten worden verzameld (optioneel).
- Selecteer Opslaan om de nieuwe instellingen en metrische gegevens voor diagnostische logboeken op te slaan.
Nieuwe instellingen worden binnen een paar minuten ingesteld. Logboeken worden vervolgens weergegeven in het geconfigureerde archiveringsdoel (Storage account, Event Hub of Log Analytics).
Notitie
Als u logboeken naar Log Analytics verzendt, worden de logboeken , , , , en opgeslagen in Log Analytics-tabellen met SucceededIngestion de naam respectievelijk : , FailedIngestion , , IngestionBatching , CommandQuery en TableUsageStatisticsTableDetailsSucceededIngestionFailedIngestionADXIngestionBatchingADXCommandADXQueryADXTableUsageStatisticsADXTableDetails .
Schema voor diagnostische logboeken
Alle Azure Monitor logboeken delen een algemeen schema op het hoogste niveau. Azure Data Explorer heeft unieke eigenschappen voor hun eigen gebeurtenissen. Alle logboeken worden opgeslagen in een JSON-indeling.
Schema voor opnamelogboeken
JSON-logboekreeksen bevatten elementen die worden vermeld in de volgende tabel:
| Naam | Beschrijving |
|---|---|
| tijd | Tijd van het rapport |
| resourceId | Azure Resource Manager resource-id |
| operationName | Naam van de bewerking: MICROSOFT. KUSTO/CLUSTERS/OPNAME/ACTION' |
| operationVersion | Schemaversie: '1.0' |
| category | Categorie van de bewerking. SucceededIngestionof FailedIngestionIngestionBatching . Eigenschappen verschillen voor een geslaagde bewerking,mislukte bewerking of batchbewerking. |
| properties | Gedetailleerde informatie over de bewerking. |
Bewerkingslogboek voor geslaagde opname
Voorbeeld:
{
"time": "2019-05-27 07:55:05.3693628",
"resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
"operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
"operationVersion": "1.0",
"category": "SucceededIngestion",
"properties":
{
"SucceededOn": "2019-05-27 07:55:05.3693628",
"OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
"Database": "Samples",
"Table": "StormEvents",
"IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
"IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
"RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
}
}
Eigenschappen van een diagnostisch logboek voor een geslaagde bewerking
| Naam | Beschrijving |
|---|---|
| SucceededOn | Tijdstip van opname voltooid |
| OperationId | Azure Data Explorer opnamebewerkings-id |
| Database | Naam van de doeldatabase |
| Tabel | Naam van de doeltabel |
| IngestionSourceId | Id van de gegevensbron voor opname |
| IngestionSourcePath | Pad van de opnamegegevensbron of blob-URI |
| RootActivityId | Activiteits-id |
Logboek met mislukte opnamebewerkingen
Voorbeeld:
{
"time": "2019-05-27 08:57:05.4273524",
"resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
"operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
"operationVersion": "1.0",
"category": "FailedIngestion",
"properties":
{
"failedOn": "2019-05-27 08:57:05.4273524",
"operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
"database": "Samples",
"table": "StormEvents",
"ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
"ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
"rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
"details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
"errorCode": "Download_SourceNotFound",
"failureStatus": "Permanent",
"originatesFromUpdatePolicy": false,
"shouldRetry": false
}
}
Eigenschappen van een diagnostisch logboek voor mislukte bewerking
| Naam | Beschrijving |
|---|---|
| FailedOn | Tijdstip van opname voltooid |
| OperationId | Azure Data Explorer-opnamebewerkings-id |
| Database | Naam van de doeldatabase |
| Tabel | Naam van de doeltabel |
| IngestionSourceId | Id van de gegevensbron voor opname |
| IngestionSourcePath | Pad van de opnamegegevensbron of blob-URI |
| RootActivityId | Activiteits-id |
| Details | Gedetailleerde beschrijving van het fout- en foutbericht |
| ErrorCode | Foutcode voor opname |
| FailureStatus | Permanent of geeft aan dat de bewerking de limiet of tijdslimiet voor nieuwe pogingen heeft overschreden na RetryAttemptsExceeded een terugkerende tijdelijke fout. |
| OriginatesFromUpdatePolicy | Waar als de fout afkomstig is van een updatebeleid |
| ShouldRetry | Waar als het opnieuw proberen kan lukken |
Batchbewerkingslogboek voor opname
Voorbeeld:
{
"resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
"time": "2021-04-18T19:19:57.0211782Z",
"operationVersion": "1.0",
"operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
"category": "IngestionBatching",
"correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
"properties": {
"Timestamp": "2021-04-18T19:19:57.0211782Z",
"Database": "Samples",
"Table": "StormEvents",
"BatchingType": "Time",
"SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
"BatchTimeSeconds": 302.1449075,
"BatchSizeBytes": 3988,
"DataSourcesInBatch": 2,
"RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
}
}
Eigenschappen van een diagnostisch logboek voor opnamebatchbewerkingen
| Naam | Beschrijving |
|---|---|
| Tijdstempel | De tijd van de batchrapportage |
| Database | Naam van de database met de doeltabel |
| Tabel | Naam van de doeltabel waarin de gegevens worden opgenomen |
| BatchingType | De trigger voor het verzegelen van een batch. Zie Batching types (Batchingtypen) voor een volledige lijst met batchtypen. |
| SourceCreationTime | Minimale tijd (UTC) waarop blobs in deze batch zijn gemaakt |
| BatchTimeSeconds | Totale batchtijd van deze batch (seconden) |
| BatchSizeBytes | Totale niet-gecomprimeerde grootte van gegevens in deze batch (bytes) |
| DataSourcesInBatch | Aantal gegevensbronnen in deze batch |
| RootActivityId | De activiteits-id van de bewerking |
Volgende stappen
- Metrische gegevens gebruiken om clusterstatus te bewaken
- Zelfstudie: Bewakingsgegevens opnemen en opvragen in Azure Data Explorer voor diagnostische logboeken voor opname