Monitorování Azure Data Explorer, příkazů, dotazů a tabulek pomocí diagnostických protokolů

  • Článek
  • 9 min ke čtení

Azure Data Explorer je rychlá, plně spravovaná služba analýzy dat pro analýzy velkých objemů dat v reálném čase, která se streamují z aplikací, webů, zařízení IoT a dalších. Azure Monitor diagnostické protokoly poskytují data o provozu prostředků Azure. Azure Data Explorer používá diagnostické protokoly pro přehledy příjmu dat, příkazů, dotazů a tabulek. Protokoly operací můžete exportovat do Azure Storage, centra událostí nebo Log Analytics, abyste mohli monitorovat příjem dat, příkazy a stav dotazů. Protokoly z Azure Storage a centra událostí Azure je možné směrovat do tabulky v clusteru Azure Data Explorer pro další analýzu.

Důležité

Data diagnostických protokolů mohou obsahovat citlivá data. Omezte oprávnění cíle protokolů podle vašich potřeb monitorování.

Požadavky

Nastavení diagnostických protokolů pro Azure Data Explorer cluster

Diagnostické protokoly je možné použít ke konfiguraci shromažďování následujících dat protokolu:

Poznámka

Protokoly příjmu dat se podporují pro příjem dat ve frontě do koncového bodu příjmu dat pomocí sdk, datových připojení a konektorů.

Protokoly příjmu dat se nepodporují pro příjem streamování, přímý příjem dat do modulu, příjem dat z dotazů nebo příkazy set-or-append.

Poznámka

Protokoly neúspěšných příjmu dat se hlásí pouze pro konečný stav operace ingestování, na rozdíl od metriky výsledku příjmu dat, která se generuje pro přechodná selhání, která se interně opakují.

  • Úspěšné operace příjmu dat:Tyto protokoly mají informace o úspěšně dokončených operacích příjmu dat.
  • Neúspěšné operace příjmu dat:Tyto protokoly mají podrobné informace o neúspěšných operacích příjmu dat včetně podrobností o chybě.
  • Dávkové operace příjmudat: Tyto protokoly mají podrobné statistiky dávek připravených k ingestování (doba trvání, velikost dávky, počet objektů blob a typy dávkování).

Data se pak archivují do účtu Storage, streamují se do centra událostí nebo se odesílaly do Log Analytics podle vašich specifikací.

Povolení diagnostických protokolů

Diagnostické protokoly jsou ve výchozím nastavení zakázané. Pokud chcete povolit diagnostické protokoly, proveďte následující kroky:

  1. V Azure Portalvyberte prostředek Azure Data Explorer clusteru, který chcete monitorovat.

  2. V části Monitorování vyberte Nastavení diagnostiky.

    Přidejte diagnostické protokoly.

  3. Vyberte Přidat nastavení diagnostiky.

  4. V okně Nastavení diagnostiky:

    Nakonfigurujte nastavení diagnostiky.

    1. Zadejte název nastavení diagnostiky.
    2. Vyberte jeden nebo více cílů: pracovní prostor služby Log Analytics, účet úložiště nebo centrum událostí.
    3. Vyberte protokoly, které se budou shromažďovat: SucceededIngestion , , , nebo , nebo FailedIngestionIngestionBatchingCommandQueryTableUsageStatisticsTableDetails .
    4. Vyberte metriky, které se budou shromažďovat (volitelné).
    5. Vyberte Uložit a uložte nová nastavení a metriky diagnostických protokolů.

Nová nastavení se nastaví během několika minut. Protokoly se pak zobrazí v nakonfigurovaných cílech archivace (Storage, centrum událostí nebo Log Analytics).

Poznámka

Pokud protokoly odešlete do Log Analytics, protokoly , a se uloží do tabulek SucceededIngestionFailedIngestion Log IngestionBatchingCommandQueryTableUsageStatisticsTableDetails Analytics SucceededIngestionFailedIngestionADXIngestionBatchingADXCommandADXQueryADXTableUsageStatisticsADXTableDetails s názvem , , , , a .

Schéma diagnostických protokolů

Všechny Azure Monitor diagnostické protokoly sdílejí společné schéma nejvyšší úrovně. Azure Data Explorer má jedinečné vlastnosti pro své vlastní události. Všechny protokoly jsou uložené ve formátu JSON.

Schéma protokolů příjmu dat

Řetězce JSON protokolu obsahují prvky uvedené v následující tabulce:

Název Popis
time Čas sestavy
resourceId Azure Resource Manager resource ID
operationName Název operace: MICROSOFT. KUSTO, CLUSTERY, INGESTOVÁNÍ, AKCE
operationVersion Verze schématu: 1.0
category Kategorie operace SucceededIngestion, FailedIngestion nebo IngestionBatching . Vlastnosti se pro úspěšnou operaci,neúspěšnou operaci nebo operaci dávkování liší.
properties Podrobné informace o operaci

Protokol operací úspěšného příjmu dat

Příklad:

{
    "time": "2019-05-27 07:55:05.3693628",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

Vlastnosti diagnostického protokolu úspěšné operace

Název Popis
Úspěšně dokončeno Čas dokončení příjmu dat
ID operace Azure Data Explorer ID operace příjmu dat
databáze Název cílové databáze
Tabulka Název cílové tabulky
ID zdroje příjmu dat ID zdroje dat pro příjem dat
IngestionSourcePath Cesta ke zdroji dat příjmu dat nebo identifikátoru URI objektu blob
RootActivityId ID aktivity

Neúspěšný protokol operace ingestování

Příklad:

{
    "time": "2019-05-27 08:57:05.4273524",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Vlastnosti diagnostického protokolu nezdařené operace

Název Popis
FailedOn Čas dokončení přijímání příjmu
OperationId ID operace ingestování Azure Průzkumník dat
databáze Název cílové databáze
Tabulka Název cílové tabulky
IngestionSourceId ID zdroje dat ingestování
IngestionSourcePath Cesta zdroje dat ingestování nebo identifikátoru URI objektu BLOB
RootActivityId ID aktivity
Podrobnosti Podrobný popis chyby a chybové zprávy
ErrorCode Kód chyby ingestování
FailureStatus Permanent nebo RetryAttemptsExceeded indikuje, že operace překročila limit počtu pokusů o opakování nebo časový limit TimeSpan po opakované přechodné chybě.
OriginatesFromUpdatePolicy True, pokud selhání pochází ze zásady aktualizace
ShouldRetry True, pokud opakování může být úspěšné

Protokol operace dávkového zpracování příjmu

Příklad:

{
  "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
  "time": "2021-04-18T19:19:57.0211782Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Timestamp": "2021-04-18T19:19:57.0211782Z",
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Time",
    "SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
    "BatchTimeSeconds": 302.1449075,
    "BatchSizeBytes": 3988,
    "DataSourcesInBatch": 2,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Vlastnosti diagnostického protokolu operace ingestování

Název Popis
Timestamp Čas generování sestav dávkování
databáze Název databáze, která uchovává cílovou tabulku
Tabulka Název cílové tabulky, do které se data ingestují
BatchingType Aktivační událost pro zapečetění dávky Úplný seznam typů dávkování najdete v tématu typy dávkování.
SourceCreationTime Minimální čas (UTC), na kterém se vytvořily objekty BLOB v této dávce
BatchTimeSeconds Celková doba dávky této dávky (v sekundách)
BatchSizeBytes Celková nekomprimovaná velikost dat v této dávce (bajty)
DataSourcesInBatch Počet zdrojů dat v této dávce
RootActivityId ID aktivity operace

Další kroky