Gegevens Azure Data Explorer, opdrachten, query's en tabellen bewaken met behulp van diagnostische logboeken

Azure Data Explorer is een snelle, volledig beheerde service voor gegevensanalyses waarmee grote hoeveelheden gegevens van toepassingen, websites, IoT-apparaten en dergelijke in real-time kunnen worden geanalyseerd. Azure Monitor diagnostische logboeken bevatten gegevens over de werking van Azure-resources. Azure Data Explorer maakt gebruik van diagnostische logboeken voor inzichten in opname, opdrachten, query's en tabellen. U kunt bewerkingslogboeken exporteren naar Azure Storage, Event Hub of Log Analytics om opname, opdrachten en querystatus te bewaken. Logboeken van Azure Storage en Azure Event Hub kunnen worden doorgeleid naar een tabel in Azure Data Explorer cluster voor verdere analyse.

Belangrijk

Diagnostische logboekgegevens kunnen gevoelige gegevens bevatten. Beperk de machtigingen van de logboekbestemming op basis van uw bewakingsbehoeften.

Vereisten

Diagnostische logboeken instellen voor een Azure Data Explorer cluster

Diagnostische logboeken kunnen worden gebruikt om het verzamelen van de volgende logboekgegevens te configureren:

Notitie

Opnamelogboeken worden ondersteund voor opname in de wachtrij naar het opname-eindpunt met behulp van SDK's, gegevensverbindingen en connectors.

Opnamelogboeken worden niet ondersteund voor streaming-opname, directe opname naar de engine, opname van query's of opdrachten voor instellen of toevoegen.

Notitie

Logboeken voor mislukte opname worden alleen gerapporteerd voor de uiteindelijke status van een opnamebewerking, in tegenstelling tot de metrische gegevens voor opnameresultaat, die worden uitgezonden voor tijdelijke fouten die intern opnieuw worden uitgevoerd.

  • Geslaagde opnamebewerkingen:deze logboeken bevatten informatie over voltooide opnamebewerkingen.
  • Mislukte opnamebewerkingen:deze logboeken bevatten gedetailleerde informatie over mislukte opnamebewerkingen, waaronder foutdetails.
  • Batchbewerkingen vooropname: deze logboeken hebben gedetailleerde statistieken van batches die gereed zijn voor opname (duur, batchgrootte, aantal blobs en batchtypen).

De gegevens worden vervolgens gearchiveerd in een Storage-account, gestreamd naar een Event Hub of naar Log Analytics verzonden volgens uw specificaties.

Diagnostische logboeken inschakelen

Diagnostische logboeken zijn standaard uitgeschakeld. Als u diagnostische logboeken wilt inschakelen, moet u de volgende stappen uitvoeren:

  1. Selecteer in Azure Portalde Azure Data Explorer clusterresource die u wilt bewaken.

  2. Selecteer Diagnostische instellingen onder Controle.

    Voeg diagnostische logboeken toe.

  3. Selecteer Diagnostische instellingen toevoegen.

  4. In het venster Diagnostische instellingen:

    Diagnostische instellingen configureren.

    1. Voer de naam van een diagnostische instelling in.
    2. Selecteer een of meer doelen: een Log Analytics-werkruimte, een opslagaccount of een Event Hub.
    3. Selecteer de logboeken die moeten SucceededIngestion worden verzameld: FailedIngestion , , , of , of IngestionBatchingCommandQueryTableUsageStatisticsTableDetails .
    4. Selecteer de metrische gegevens die moeten worden verzameld (optioneel).
    5. Selecteer Opslaan om de nieuwe instellingen en metrische gegevens voor diagnostische logboeken op te slaan.

Nieuwe instellingen worden binnen een paar minuten ingesteld. Logboeken worden vervolgens weergegeven in het geconfigureerde archiveringsdoel (Storage account, Event Hub of Log Analytics).

Notitie

Als u logboeken naar Log Analytics verzendt, worden de logboeken , , , , en opgeslagen in Log Analytics-tabellen met SucceededIngestion de naam respectievelijk : , FailedIngestion , , IngestionBatching , CommandQuery en TableUsageStatisticsTableDetailsSucceededIngestionFailedIngestionADXIngestionBatchingADXCommandADXQueryADXTableUsageStatisticsADXTableDetails .

Schema voor diagnostische logboeken

Alle Azure Monitor logboeken delen een algemeen schema op het hoogste niveau. Azure Data Explorer heeft unieke eigenschappen voor hun eigen gebeurtenissen. Alle logboeken worden opgeslagen in een JSON-indeling.

Schema voor opnamelogboeken

JSON-logboekreeksen bevatten elementen die worden vermeld in de volgende tabel:

Naam Beschrijving
tijd Tijd van het rapport
resourceId Azure Resource Manager resource-id
operationName Naam van de bewerking: MICROSOFT. KUSTO/CLUSTERS/OPNAME/ACTION'
operationVersion Schemaversie: '1.0'
category Categorie van de bewerking. SucceededIngestionof FailedIngestionIngestionBatching . Eigenschappen verschillen voor een geslaagde bewerking,mislukte bewerking of batchbewerking.
properties Gedetailleerde informatie over de bewerking.

Bewerkingslogboek voor geslaagde opname

Voorbeeld:

{
    "time": "2019-05-27 07:55:05.3693628",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

Eigenschappen van een diagnostisch logboek voor een geslaagde bewerking

Naam Beschrijving
SucceededOn Tijdstip van opname voltooid
OperationId Azure Data Explorer opnamebewerkings-id
Database Naam van de doeldatabase
Tabel Naam van de doeltabel
IngestionSourceId Id van de gegevensbron voor opname
IngestionSourcePath Pad van de opnamegegevensbron of blob-URI
RootActivityId Activiteits-id

Logboek met mislukte opnamebewerkingen

Voorbeeld:

{
    "time": "2019-05-27 08:57:05.4273524",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Eigenschappen van een diagnostisch logboek voor mislukte bewerking

Naam Beschrijving
FailedOn Tijdstip van opname voltooid
OperationId Azure Data Explorer-opnamebewerkings-id
Database Naam van de doeldatabase
Tabel Naam van de doeltabel
IngestionSourceId Id van de gegevensbron voor opname
IngestionSourcePath Pad van de opnamegegevensbron of blob-URI
RootActivityId Activiteits-id
Details Gedetailleerde beschrijving van het fout- en foutbericht
ErrorCode Foutcode voor opname
FailureStatus Permanent of geeft aan dat de bewerking de limiet of tijdslimiet voor nieuwe pogingen heeft overschreden na RetryAttemptsExceeded een terugkerende tijdelijke fout.
OriginatesFromUpdatePolicy Waar als de fout afkomstig is van een updatebeleid
ShouldRetry Waar als het opnieuw proberen kan lukken

Batchbewerkingslogboek voor opname

Voorbeeld:

{
  "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
  "time": "2021-04-18T19:19:57.0211782Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Timestamp": "2021-04-18T19:19:57.0211782Z",
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Time",
    "SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
    "BatchTimeSeconds": 302.1449075,
    "BatchSizeBytes": 3988,
    "DataSourcesInBatch": 2,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Eigenschappen van een diagnostisch logboek voor opnamebatchbewerkingen

Naam Beschrijving
Tijdstempel De tijd van de batchrapportage
Database Naam van de database met de doeltabel
Tabel Naam van de doeltabel waarin de gegevens worden opgenomen
BatchingType De trigger voor het verzegelen van een batch. Zie Batching types (Batchingtypen) voor een volledige lijst met batchtypen.
SourceCreationTime Minimale tijd (UTC) waarop blobs in deze batch zijn gemaakt
BatchTimeSeconds Totale batchtijd van deze batch (seconden)
BatchSizeBytes Totale niet-gecomprimeerde grootte van gegevens in deze batch (bytes)
DataSourcesInBatch Aantal gegevensbronnen in deze batch
RootActivityId De activiteits-id van de bewerking

Volgende stappen