Az Azure Adatkezelő a betöltés, a parancsok és a lekérdezések figyelése diagnosztikai naplók használatávalMonitor Azure Data Explorer ingestion, commands, and queries using diagnostic logs

Az Azure Data Explorer egy gyors, teljes mértékben felügyelt adatelemző szolgáltatás, amellyel valós idejű elemzést végezhet többek között alkalmazások, webhelyek és IoT-eszközök nagy mennyiségű adatfolyamain.Azure Data Explorer is a fast, fully managed data analytics service for real-time analysis on large volumes of data streaming from applications, websites, IoT devices, and more. Azure monitor diagnosztikai naplók az Azure-erőforrások működésével kapcsolatos információkat biztosítanak.Azure Monitor diagnostic logs provide data about the operation of Azure resources. Az Azure Adatkezelő diagnosztikai naplókat használ a betöltési sikerek, a betöltési hibák, a parancsok és a lekérdezési műveletek elemzéséhez.Azure Data Explorer uses diagnostic logs for insights on ingestion successes, ingestion failures, commands, and query operations. A műveleti naplókat az Azure Storage-ba, az Event Hubbe vagy a Log Analyticsba exportálhatja a betöltés, a parancsok és a lekérdezés állapotának figyeléséhez.You can export operation logs to Azure Storage, Event Hub, or Log Analytics to monitor ingestion, commands, and query status. Az Azure Storage-ból és az Azure Event hub-ból származó naplók további elemzés céljából átirányíthatók az Azure Adatkezelő-fürt egyik táblájába.Logs from Azure Storage and Azure Event Hub can be routed to a table in your Azure Data Explorer cluster for further analysis.

Fontos

A diagnosztikai naplóban tárolt adatok bizalmas adatokat is tartalmazhatnak.Diagnostic log data may contain sensitive data. Korlátozza a naplók célhelyének engedélyeit a figyelési igényeknek megfelelően.Restrict permissions of the logs destination according to your monitoring needs.

ElőfeltételekPrerequisites

Diagnosztikai naplók beállítása Azure Adatkezelő-fürthözSet up diagnostic logs for an Azure Data Explorer cluster

A diagnosztikai naplók használatával konfigurálhatja a következő naplózási adatkészletek gyűjteményét:Diagnostic logs can be used to configure the collection of the following log data:

Megjegyzés

A betöltési naplók támogatottak a betöltési végpontok számára az SDK-k, az adatkapcsolatok és az összekötők használatával a betöltési végpontnál.Ingestion logs are supported for queued ingestion to the ingestion endpoint using SDKs, data connections, and connectors.

A betöltési naplók nem támogatottak az adatfolyamok betöltéséhez, a motorba való közvetlen betöltéshez, a lekérdezésből való betöltéshez, illetve a beállítás-vagy hozzáfűzési parancsokhoz.Ingestion logs aren't supported for streaming ingestion, direct ingestion to the engine, ingestion from query, or set-or-append commands.

Megjegyzés

A sikertelen betöltési naplók csak a betöltési művelet végső állapotára vonatkoznak, a (betöltési eredménytől számítva) [using-Metrics # betöltés-metrikák] metrikától eltérően, amelyet a rendszer belső próbálkozások esetén kibocsát.Failed ingestion logs are only reported for the final state of an ingest operation, unlike the (Ingestion result)[using-metrics#ingestion-metrics] metric, which is emitted for transient failures that are retried internally.

  • Sikeres betöltési műveletek: ezek a naplók információkkal szolgálnak a sikeresen befejezett betöltési műveletekről.Successful ingestion operations: These logs have information about successfully completed ingestion operations.
  • Sikertelen betöltési műveletek: ezek a naplók részletes információkat tartalmaznak a sikertelen betöltési műveletekről, beleértve a hibák részleteit.Failed ingestion operations: These logs have detailed information about failed ingestion operations including error details.
  • Betöltési kötegelt műveletek: ezek a naplók részletes statisztikai adatokat biztosítanak a betöltésre előkészített kötegekről (időtartam, köteg mérete és Blobok száma).Ingestion batching operations: These logs have detailed statistics of batches ready for ingestion (duration, batch size and blobs count).

Az adatok ezután archiválva lesznek egy Storage-fiókba, egy Event hub streambe áramlanak, vagy az Ön által megadott specifikációknak megfelelően a Log Analyticsba lesznek küldve.The data is then archived into a Storage account, streamed to an Event Hub, or sent to Log Analytics, as per your specifications.

Diagnosztikai naplók engedélyezéseEnable diagnostic logs

A diagnosztikai naplók alapértelmezés szerint le vannak tiltva.Diagnostic logs are disabled by default. A diagnosztikai naplók engedélyezéséhez hajtsa végre a következő lépéseket:To enable diagnostic logs, do the following steps:

  1. A Azure Portalválassza ki a figyelni kívánt Azure adatkezelő fürterőforrás-erőforrást.In the Azure portal, select the Azure Data Explorer cluster resource that you want to monitor.

  2. A Monitorozás területen kattintson a Diagnosztikai beállítások elemre.Under Monitoring, select Diagnostic settings.

    Diagnosztikai naplók hozzáadása

  3. Válassza a Diagnosztikai beállítások megadása lehetőséget.Select Add diagnostic setting.

  4. A diagnosztikai beállítások ablakban:In the Diagnostic settings window:

    Diagnosztikai beállítások konfigurálása

    1. Adja meg a diagnosztikai beállítások nevét.Enter a Diagnostic setting name.
    2. Válasszon ki egy vagy több célt: egy Log Analytics munkaterületet, egy Storage-fiókot vagy egy Event hubot.Select one or more targets: a Log Analytics workspace, a storage account, or an Event Hub.
    3. Válassza ki a gyűjteni kívánt naplókat:,,, SucceededIngestion FailedIngestion Command vagy Query , TableUsageStatistics vagy TableDetails .Select logs to be collected: SucceededIngestion, FailedIngestion, Command, or Query, TableUsageStatistics, or TableDetails.
    4. Válassza ki a gyűjteni kívánt metrikákat (nem kötelező).Select metrics to be collected (optional).
    5. Válassza a Mentés lehetőséget az új diagnosztikai naplók beállításainak és metrikáinak mentéséhez.Select Save to save the new diagnostic logs settings and metrics.

Néhány perc múlva új beállítások lesznek beállítva.New settings will be set in a few minutes. A naplók ezután megjelennek a konfigurált archiválási tárolóban (Storage-fiók, Event hub vagy Log Analytics).Logs then appear in the configured archival target (Storage account, Event Hub, or Log Analytics).

Megjegyzés

Ha log Analyticsba küld naplókat, a,,, SucceededIngestion FailedIngestion és a naplók a Command Query következő nevű log Analytics-táblákban lesznek tárolva: SucceededIngestion , FailedIngestion , ADXIngestionBatching ADXCommand ADXQuery ,,, vagy.If you send logs to Log Analytics, the SucceededIngestion, FailedIngestion, Command, and Query logs will be stored in Log Analytics tables named: SucceededIngestion, FailedIngestion, ADXIngestionBatching, ADXCommand, ADXQuery, respectively.

Diagnosztikai naplók sémájaDiagnostic logs schema

Az összes Azure monitor diagnosztikai napló közös legfelső szintű sémával rendelkezik.All Azure Monitor diagnostic logs share a common top-level schema. Az Azure Adatkezelő saját eseményeihez egyedi tulajdonságokkal rendelkezik.Azure Data Explorer has unique properties for their own events. Az összes napló JSON formátumban van tárolva.All logs are stored in a JSON format.

Betöltési naplók sémájaIngestion logs schema

A JSON-karakterláncok naplózása a következő táblázatban felsorolt elemeket tartalmazza:Log JSON strings include elements listed in the following table:

NévName LeírásDescription
timetime A jelentés időpontjaTime of the report
resourceIdresourceId Erőforrás-azonosító Azure Resource ManagerAzure Resource Manager resource ID
operationNameoperationName A művelet neve: "MICROSOFT. KUSTO/FÜRTÖK/BETÖLTÉS/MŰVELETName of the operation: 'MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION'
operationVersionoperationVersion Séma verziója: "1,0"Schema version: '1.0'
categorycategory A művelet kategóriája.Category of the operation. SucceededIngestion``FailedIngestionvagy IngestionBatching .SucceededIngestion, FailedIngestion or IngestionBatching. A tulajdonságok a sikeres művelet, a sikertelen művelet vagy a kötegelt műveletesetében eltérőek.Properties differ for successful operation, failed operation or batching operation.
propertiesproperties A művelet részletes információi.Detailed information of the operation.

Sikeres betöltési műveleti naplóSuccessful ingestion operation log

PéldaExample:

{
    "time": "",
    "resourceId": "",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

A sikeres művelet diagnosztikai naplójának tulajdonságaiProperties of a successful operation diagnostic log

NévName LeírásDescription
SucceededOnSucceededOn Betöltési időTime of ingestion completion
OperationIdOperationId Azure Adatkezelő betöltési művelet azonosítójaAzure Data Explorer ingestion operation ID
AdatbázisDatabase A céladatbázis neveName of the target database
TáblaTable A céltábla neveName of the target table
IngestionSourceIdIngestionSourceId A betöltési adatforrás azonosítójaID of the ingestion data source
IngestionSourcePathIngestionSourcePath A betöltési adatforrás vagy a blob URI elérési útjaPath of the ingestion data source or blob URI
RootActivityIdRootActivityId TevékenységazonosítóActivity ID

Sikertelen betöltési műveleti naplóFailed ingestion operation log

PéldaExample:

{
    "time": "",
    "resourceId": "",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Sikertelen művelet diagnosztikai naplójának tulajdonságaiProperties of a failed operation diagnostic log

NévName LeírásDescription
FailedOnFailedOn Betöltési időTime of ingestion completion
OperationIdOperationId Azure Adatkezelő betöltési művelet azonosítójaAzure Data Explorer ingestion operation ID
AdatbázisDatabase A céladatbázis neveName of the target database
TáblaTable A céltábla neveName of the target table
IngestionSourceIdIngestionSourceId A betöltési adatforrás azonosítójaID of the ingestion data source
IngestionSourcePathIngestionSourcePath A betöltési adatforrás vagy a blob URI elérési útjaPath of the ingestion data source or blob URI
RootActivityIdRootActivityId TevékenységazonosítóActivity ID
RészletekDetails A hiba és a hibaüzenet részletes leírásaDetailed description of the failure and error message
ErrorCodeErrorCode HibakódError code
FailureStatusFailureStatus Permanent vagy Transient.Permanent or Transient. Egy átmeneti hiba esetén az Újrapróbálkozás sikeres lehet.Retry of a transient failure may succeed.
OriginatesFromUpdatePolicyOriginatesFromUpdatePolicy Igaz, ha a hiba egy frissítési házirendből származikTrue if failure originates from an update policy
ShouldRetryShouldRetry Igaz, ha az Újrapróbálkozás sikeres lehetTrue if retry may succeed

Betöltési köteg műveleti naplójaIngestion batching operation log

PéldaExample:

{
  "resourceId": "/SUBSCRIPTIONS/12534EB3-8109-4D84-83AD-576C0D5E1D06/RESOURCEGROUPS/KEREN/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/KERENEUS",
  "time": "2020-05-27T07:55:05.3693628Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Size",
    "SourceCreationTime": "2020-05-27 07:52:04.9623640",
    "BatchTimeSeconds": 215.5,
    "BatchSizeBytes": 2356425,
    "DataSourcesInBatch": 4,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Egy betöltési batch-művelet diagnosztikai naplójának tulajdonságaiProperties of an ingestion batching operation diagnostic log

NévName LeírásDescription
TimeGeneratedTimeGenerated Az az időpont (UTC), amelyen az esemény létrejöttThe time (UTC) at which this event was generated
AdatbázisDatabase A célként megadott táblázatot tároló adatbázis neveName of the database holding the target table
TáblaTable Azon céltábla neve, amelybe az adatgyűjtés bekerülName of the target table into which the data is ingested
BatchingTypeBatchingType Kötegelt feldolgozás típusa: azt határozza meg, hogy a köteg elérte-e a batching-házirend által beállított időkorlátot, az adatméretet vagy a fájlok számát.Type of batching: whether the batch reached batching time, data size, or number of files limit set by batching policy
SourceCreationTimeSourceCreationTime A kötegben található Blobok létrehozásának minimális ideje (UTC)Minimal time (UTC) at which blobs in this batch were created
BatchTimeSecondsBatchTimeSeconds A köteg összes kötegelt futási ideje (másodperc)Total batching time of this batch (seconds)
BatchSizeBytesBatchSizeBytes A kötegben lévő összes tömörítetlen méret (bájt)Total uncompressed size of data in this batch (bytes)
DataSourcesInBatchDataSourcesInBatch A kötegben lévő adatforrások számaNumber of data sources in this batch
RootActivityIdRootActivityId A művelet tevékenységének azonosítójaThe operation's activity ID

Következő lépésekNext steps