Tanılama günlüklerini kullanarak Azure Veri Gezgini alımını, komutlarını, sorgularını ve tablolarını izleme

Azure Veri Gezgini uygulamalar, web siteleri, IoT cihazları ve daha fazlasından akışı yapılan büyük miktarda veri üzerinde gerçek zamanlı analiz yapmaya yönelik hızlı ve tam olarak yönetilen bir veri analizi hizmetidir. Azure İzleyici tanılama günlükleri , Azure kaynaklarının çalışmasına ilişkin veriler sağlar. Azure Veri Gezgini veri alımı, komutlar, sorgu ve tablolar hakkındaki içgörüler için tanılama günlüklerini kullanır. Alma, komutlar ve sorgu durumunu izlemek için işlem günlüklerini Azure Depolama, olay hub'ı veya Log Analytics'e aktarabilirsiniz. Azure Depolama ve Azure Event Hubs günlükleri daha fazla analiz için Azure Veri Gezgini kümenizdeki bir tabloya yönlendirilebilir.

Önemli

Tanılama günlüğü verileri hassas veriler içerebilir. Günlük hedefinin izinlerini izleme gereksinimlerinize göre kısıtlayın.

Önkoşullar

Azure Veri Gezgini kümesi için tanılama günlüklerini ayarlama

Tanılama günlükleri, aşağıdaki günlük verilerinin toplanmasını yapılandırmak için kullanılabilir:

Not

Alma günlükleri SDK'lar, veri bağlantıları ve bağlayıcılar kullanılarak alım uç noktasına kuyruğa alınmış alım için desteklenir.

Veri alımı günlükleri akış alımı, altyapıya doğrudan alma, sorgudan alma veya ayarlama veya ekleme komutları için desteklenmez.

Not

Başarısız alma günlükleri, dahili olarak yeniden denenen geçici hatalar için gösterilen Alma sonucu ölçümünün aksine, yalnızca alma işleminin son durumu için bildirilir.

  • Başarılı alma işlemleri: Bu günlükler başarıyla tamamlanan alım işlemleri hakkında bilgi içerir.
  • Başarısız alma işlemleri: Bu günlüklerde hata ayrıntıları da dahil olmak üzere başarısız alma işlemleri hakkında ayrıntılı bilgiler bulunur.
  • Alma toplu işlemi işlemleri: Bu günlüklerde alım için hazır toplu işlemlerin ayrıntılı istatistikleri vardır (süre, toplu iş boyutu, blob sayısı ve toplu işlem türleri).

Ardından veriler, belirtimlerinize göre bir Depolama hesabında arşivlenip bir olay hub'ına aktarılır veya Log Analytics'e gönderilir.

Tanılama günlüklerini etkinleştirme

Tanılama günlükleri varsayılan olarak devre dışıdır. Tanılama günlüklerini etkinleştirmek için aşağıdaki adımları uygulayın:

  1. Azure portal, izlemek istediğiniz Azure Veri Gezgini kümesi kaynağını seçin.

  2. İzleme bölümünde Tanılama ayarları'nı seçin.

    Add diagnostics logs.

  3. Tanılama ayarı ekle’yi seçin.

  4. Tanılama ayarları penceresinde:

    Configure diagnostics settings.

    1. Tanılama ayarı adını girin.
    2. Bir veya daha fazla hedef seçin: Log Analytics çalışma alanı, depolama hesabı veya olay hub'ı.
    3. Toplanacak günlükleri seçin: SucceededIngestion, FailedIngestion, IngestionBatching, Command, veya Query, TableUsageStatisticsveya TableDetails.
    4. Toplanacak ölçümleri seçin (isteğe bağlı).
    5. Yeni tanılama günlükleri ayarlarını ve ölçümlerini kaydetmek için Kaydet'i seçin.

Yeni ayarlar birkaç dakika içinde ayarlanır. Günlükler yapılandırılan arşiv hedefinde (Depolama hesap, Olay Hub'ı veya Log Analytics) görünür.

Not

Günlükleri Log Analytics'e gönderirseniz, SucceededIngestion, FailedIngestion, IngestionBatching, Command, QueryTableUsageStatistics ve TableDetails günlükleri sırasıyla , , FailedIngestionADXIngestionBatching, ADXCommand, ADXQueryADXTableUsageStatistics ve ADXTableDetails adlı SucceededIngestionLog Analytics tablolarında depolanır.

Tanılama günlükleri şeması

Tüm Azure İzleyici tanılama günlükleri ortak bir üst düzey şemayı paylaşır. Azure Veri Gezgini kendi olayları için benzersiz özelliklere sahiptir. Tüm günlükler JSON biçiminde depolanır.

Alım günlükleri şeması

Günlük JSON dizeleri aşağıdaki tabloda listelenen öğeleri içerir:

Adı Açıklama
time Raporun saati
resourceId Azure Resource Manager kaynak kimliği
operationName İşlemin adı: 'MICROSOFT. KUSTO/CLUSTERS/ALMA/EYLEM'
operationVersion Şema sürümü: '1.0'
category İşlemin kategorisi. SucceededIngestionveya FailedIngestionIngestionBatching. Özellikler başarılı işlem, başarısız işlem veya toplu işlem için farklılık gösterir.
properties İşlemin ayrıntılı bilgileri.

Başarılı alma işlemi günlüğü

Örnek:

{
    "time": "2019-05-27 07:55:05.3693628",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

Başarılı bir işlem tanılama günlüğünün özellikleri

Adı Açıklama
SucceededOn Alım tamamlanma zamanı
OperationId Azure Veri Gezgini alma işlemi kimliği
Veritabanı Hedef veritabanının adı
Tablo Hedef tablonun adı
IngestionSourceId Alım veri kaynağının kimliği
IngestionSourcePath Veri kaynağının veya blob URI'sinin alma yolu
RootActivityId Etkinlik Kimliği

Başarısız alma işlemi günlüğü

Örnek:

{
    "time": "2019-05-27 08:57:05.4273524",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Başarısız bir işlem tanılama günlüğünün özellikleri

Adı Açıklama
FailedOn Alım tamamlanma zamanı
OperationId Azure Veri Gezgini alma işlemi kimliği
Veritabanı Hedef veritabanının adı
Tablo Hedef tablonun adı
IngestionSourceId Veri kaynağının alma kimliği
IngestionSourcePath Veri kaynağını veya blob URI'sini alma yolu
RootActivityId Etkinlik Kimliği
Ayrıntılar Hata ve hata iletisinin ayrıntılı açıklaması
ErrorCode Alma hata kodu
FailureStatus Permanent veya RetryAttemptsExceeded yinelenen geçici bir hatadan sonra işlemin yeniden deneme denemeleri sınırını veya zaman aralığı sınırını aştığını gösterir.
OriginatesFromUpdatePolicy Hata bir güncelleştirme ilkesinden kaynaklanıyorsa true
ShouldRetry Yeniden deneme başarılı olursa true

Alma toplu işlemi günlüğü

Örnek:

{
  "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
  "time": "2021-04-18T19:19:57.0211782Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Timestamp": "2021-04-18T19:19:57.0211782Z",
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Time",
    "SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
    "BatchTimeSeconds": 302.1449075,
    "BatchSizeBytes": 3988,
    "DataSourcesInBatch": 2,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Alma toplu işlemi tanılama günlüğünün özellikleri

Adı Açıklama
Zaman damgası Toplu raporlama zamanı
Veritabanı Hedef tabloyu tutan veritabanının adı
Tablo Verilerin alındığı hedef tablonun adı
BatchingType Toplu iş mühürleme tetikleyicisi. Toplu işlem türlerinin tam listesi için bkz. Toplu işlem türleri.
SourceCreationTime Bu toplu işteki blobların oluşturulduğu en az saat (UTC)
BatchTimeSeconds Bu toplu iş için toplam toplu işlem süresi (saniye)
BatchSizeBytes Bu toplu işteki toplam sıkıştırılmamış veri boyutu (bayt)
DataSourcesInBatch Bu toplu işteki veri kaynağı sayısı
RootActivityId İşlemin etkinlik kimliği

Sonraki adımlar