Övervaka Azure Data Explorer, kommandon, frågor och tabeller med hjälp av diagnostikloggar

  • Artikel
  • 8 minuter för att läsa

Azure Data Explorer är en snabb, fullständigt hanterad dataanalystjänst för realtidsanalys av stora mängder data som strömmar från program, webbplatser, IoT-enheter med mera. Azure Monitor diagnostikloggar ger data om driften av Azure-resurser. Azure Data Explorer använder diagnostikloggar för insikter om inmatning, kommandon, frågor och tabeller. Du kan exportera åtgärdsloggar till Azure Storage, Event Hub eller Log Analytics för att övervaka inmatning, kommandon och frågestatus. Loggar från Azure Storage och Azure Event Hub kan dirigeras till en tabell i ditt Azure Data Explorer för ytterligare analys.

Viktigt

Diagnostikloggdata kan innehålla känsliga data. Begränsa behörigheterna för loggmålet enligt dina övervakningsbehov.

Förutsättningar

Konfigurera diagnostikloggar för ett Azure Data Explorer kluster

Diagnostikloggar kan användas för att konfigurera insamlingen av följande loggdata:

Anteckning

Inmatningsloggar stöds för köad inmatning till inmatningsslutpunkten med hjälp av SDK:er, dataanslutningar och anslutningsappar.

Inmatningsloggar stöds inte för strömningsinmatning, direktinmatning till motorn, inmatning från fråga eller set-or-append-kommandon.

Anteckning

Misslyckade inmatningsloggar rapporteras endast för sluttillståndet för en inmatningsåtgärd, till skillnad från måttet Inmatningsresultat, som genereras för tillfälliga fel som utförs internt igen.

  • Lyckade inmatningsåtgärder:De här loggarna innehåller information om slutförda inmatningsåtgärder.
  • Misslyckade inmatningsåtgärder:De här loggarna innehåller detaljerad information om misslyckade inmatningsåtgärder, inklusive felinformation.
  • Batchbearbetningsåtgärder för inmatning:De här loggarna har detaljerad statistik över batchar som är redo för inmatning (varaktighet, batchstorlek, antal blobar och batchbearbetningstyper).

Data arkiveras sedan i ett Storage-konto, strömmas till en händelsehubb eller skickas till Log Analytics enligt dina specifikationer.

Aktivera diagnostikloggar

Diagnostikloggar är inaktiverade som standard. Aktivera diagnostikloggar genom att göra följande:

  1. I Azure Portalväljer du den Azure Data Explorer klusterresurs som du vill övervaka.

  2. Under Övervakning väljer du Diagnostikinställningar.

    Lägg till diagnostikloggar.

  3. Välj Lägg till diagnostikinställning.

  4. I fönstret Diagnostikinställningar:

    Konfigurera diagnostikinställningar.

    1. Ange namnet på diagnostikinställningen.
    2. Välj ett eller flera mål: en Log Analytics-arbetsyta, ett lagringskonto eller en händelsehubb.
    3. Välj loggar som ska samlas in: SucceededIngestion , , , , eller , eller FailedIngestionIngestionBatchingCommandQueryTableUsageStatisticsTableDetails .
    4. Välj mått som ska samlas in (valfritt).
    5. Välj Spara för att spara de nya inställningarna och måtten för diagnostikloggar.

Nya inställningar ställs in om några minuter. Loggarna visas sedan i det konfigurerade arkiveringsmålet (Storage,Händelsehubb eller Log Analytics).

Anteckning

Om du skickar loggar till Log Analytics lagras loggarna , , , , och i Log Analytics-tabellerna SucceededIngestionFailedIngestion med IngestionBatchingCommandQueryTableUsageStatisticsTableDetails namnet: , , , SucceededIngestion , och FailedIngestionADXIngestionBatchingADXCommandADXQueryADXTableUsageStatisticsADXTableDetails .

Schema för diagnostikloggar

Alla Azure Monitor diagnostikloggar delar ett gemensamt schema på den översta nivån. Azure Data Explorer har unika egenskaper för sina egna händelser. Alla loggar lagras i JSON-format.

Schema för inmatningsloggar

Logg-JSON-strängar innehåller element som anges i följande tabell:

Name Beskrivning
time Rapportens tid
resourceId Azure Resource Manager resurs-ID
operationName Namnet på åtgärden: MICROSOFT. KUSTO/CLUSTERS/INGEST/ACTION"
operationVersion Schemaversion: "1.0"
category Åtgärdens kategori. SucceededIngestion, FailedIngestion eller IngestionBatching . Egenskaperna skiljer sig för lyckad åtgärd,misslyckad åtgärd eller batchbearbetningsåtgärd.
properties Detaljerad information om åtgärden.

Logg för lyckad inmatningsåtgärd

Exempel:

{
    "time": "2019-05-27 07:55:05.3693628",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

Egenskaper för en lyckad åtgärdsdiagnostiklogg

Name Beskrivning
SucceededOn Tid för slutförande av datainmatning
OperationId Azure Data Explorer åtgärds-ID för inmatning
Databas Namnet på måldatabasen
Tabell Namnet på måltabellen
IngestionSourceId ID för datakällan för inmatning
IngestionSourcePath Sökväg för datakällan för inmatning eller blob-URI
RootActivityId Aktivitets-ID

Logg för misslyckad inmatningsåtgärd

Exempel:

{
    "time": "2019-05-27 08:57:05.4273524",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Egenskaper för diagnostikloggen för en misslyckad åtgärd

Name Beskrivning
FailedOn Tid för slutförande av datainmatning
OperationId Azure Data Explorer för inmatningsåtgärds-ID
Databas Namnet på måldatabasen
Tabell Namnet på måltabellen
IngestionSourceId ID för datakällan för inmatning
IngestionSourcePath Sökvägen till datakällan för inmatning eller blob-URI
RootActivityId Aktivitets-ID
Information Detaljerad beskrivning av felet och felmeddelandet
Felkod Inmatningsfelkod
FailureStatus Permanent eller RetryAttemptsExceeded anger att åtgärden har överskridit gränsen för återförsök eller tidsgränsen efter ett återkommande tillfälligt fel.
OriginatesFromUpdatePolicy Sant om felet kommer från en uppdateringsprincip
ShouldRetry Sant om återförsöket kan lyckas

Åtgärdslogg för inmatningsbatchning

Exempel:

{
  "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
  "time": "2021-04-18T19:19:57.0211782Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Timestamp": "2021-04-18T19:19:57.0211782Z",
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Time",
    "SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
    "BatchTimeSeconds": 302.1449075,
    "BatchSizeBytes": 3988,
    "DataSourcesInBatch": 2,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Egenskaper för diagnostikloggen för en inmatningsåtgärd i batchbearbetning

Name Beskrivning
Timestamp Tiden för batchbearbetningsrapporteringen
Databas Namnet på databasen som innehåller måltabellen
Tabell Namnet på måltabellen som data matas in i
BatchingType Utlösaren för att försegla en batch. En fullständig lista över batchbearbetningstyper finns i Batchbearbetningstyper.
SourceCreationTime Minimal tid (UTC) då blobar i den här batchen skapades
BatchTimeSeconds Total batchtid för den här batchen (sekunder)
BatchSizeBytes Total okomprimerad storlek på data i den här batchen (byte)
DataSourcesInBatch Antal datakällor i den här batchen
RootActivityId Åtgärdens aktivitets-ID

Nästa steg