Tanılama günlüklerini kullanarak Azure Veri Gezgini alımı, komutları, sorguları ve tabloları izleme

Azure Veri Gezgini uygulamalar, web siteleri, IoT cihazları ve daha fazlasından akışı yapılan büyük miktarda veri üzerinde gerçek zamanlı analiz yapmaya yönelik hızlı ve tam olarak yönetilen bir veri analizi hizmetidir. Azure izleyici tanılama günlükleri , Azure kaynakları 'nın çalışması hakkında veri sağlar. Azure Veri Gezgini, alma, komutlar, sorgu ve tablolar hakkında Öngörüler için tanılama günlüklerini kullanır. alma, komutlar ve sorgu durumunu izlemek için işlem günlüklerini Azure Depolama, olay Hub 'ı veya Log Analytics dışarı aktarabilirsiniz. azure Depolama günlükler ve azure olay Hub 'ı, daha fazla analiz için azure Veri Gezgini kümenizdeki bir tabloya yönlendirilebilir.

Önemli

Tanılama günlüğü verileri, hassas veriler içerebilir. Günlük hedefinin izinlerini izleme gereksinimlerinize göre kısıtlayın.

Önkoşullar

Azure Veri Gezgini kümesi için tanılama günlüklerini ayarlama

Tanılama günlükleri, aşağıdaki günlük verilerinin toplanmasını yapılandırmak için kullanılabilir:

Not

Alma günlüğü, SDK 'lar, veri bağlantıları ve bağlayıcılar kullanılarak alma uç noktasına sıraya alınmış alma için desteklenir.

Alım günlükleri akış alma, altyapıya doğrudan alma, sorgudan alma veya set-veya-Append komutları için desteklenmez.

Not

Başarısız Alım günlükleri, iç içe yeniden denenen geçici hatalara göre oluşturulan alma sonucu ölçümünün aksine yalnızca alma işleminin son durumu için raporlanır.

  • Başarılı alma işlemleri: Bu günlüklerde başarıyla tamamlanan alma işlemleri hakkında bilgiler vardır.
  • Başarısız alma işlemleri: Bu günlüklerde hata ayrıntıları da dahil olmak üzere başarısız alma işlemleriyle ilgili ayrıntılı bilgiler vardır.
  • Alım toplu işlem işlemleri: Bu günlüklerde, alma işlemi için (süre, toplu iş boyutu, Bloblar sayısı ve toplu işlem türleri) önceden hazırlanmaya yönelik ayrıntılı istatistikler vardır.

veriler daha sonra bir Depolama hesapta arşivlenir, bir olay Hub 'ına kaydedilir veya belirtimlerinize göre Log Analytics gönderilir.

Tanılama günlüklerini etkinleştirme

Tanılama günlükleri varsayılan olarak devre dışıdır. Tanılama günlüklerini etkinleştirmek için aşağıdaki adımları uygulayın:

  1. Azure Portal, Izlemek istediğiniz Azure Veri Gezgini kümesi kaynağını seçin.

  2. İzleme bölümünde Tanılama ayarları'nı seçin.

    Tanılama günlükleri ekleyin.

  3. Tanılama ayarı ekle’yi seçin.

  4. Tanılama ayarları penceresinde:

    Tanılama ayarlarını yapılandırın.

    1. Bir Tanılama ayarı adıgirin.
    2. Bir veya daha fazla hedef seçin: Log Analytics çalışma alanı, depolama hesabı veya Olay Hub 'ı.
    3. Toplanacak günlükleri seçin: SucceededIngestion ,,, FailedIngestionIngestionBatchingCommand , veya Query , TableUsageStatistics , veya TableDetails .
    4. Toplanacak ölçümleri seçin (isteğe bağlı).
    5. Yeni tanılama günlükleri ayarlarını ve ölçümlerini kaydetmek için Kaydet ' i seçin.

Yeni ayarlar birkaç dakika içinde ayarlanacak. günlükler daha sonra yapılandırılan arşiv hedefinde (Depolama hesap, olay Hub 'ı veya Log Analytics) görünür.

Not

Log Analytics Günlükler gönderirseniz,,,,, SucceededIngestionFailedIngestionIngestionBatchingCommandQueryTableUsageStatistics ve TableDetails Günlükler sırasıyla:,,,, ve adlı Log Analytics tablolarda depolanır SucceededIngestionFailedIngestionADXIngestionBatchingADXCommandADXQueryADXTableUsageStatisticsADXTableDetails .

Tanılama günlükleri şeması

Tüm Azure izleyici tanılama günlükleri, ortak bir en üst düzey şemayı paylaşır. Azure Veri Gezgini kendi olayları için benzersiz özelliklere sahiptir. Tüm Günlükler JSON biçiminde depolanır.

Alım günlükleri şeması

Günlük JSON dizeleri aşağıdaki tabloda listelenen öğeleri içerir:

Ad Açıklama
time Raporun saati
resourceId Azure Resource Manager kaynak KIMLIĞI
operationName İşlemin adı: ' MICROSOFT. KUSTO/KÜMELER/ALMA/EYLEM '
operationVersion Şema sürümü: ' 1,0 '
category İşlemin kategorisi. SucceededIngestion, FailedIngestion veya IngestionBatching . Başarılı işlem, başarısız işlem veya toplu işlem işlemiiçin özellikler farklılık gösterir.
properties İşlemin ayrıntılı bilgileri.

Başarılı alma işlemi günlüğü

Örnek:

{
    "time": "2019-05-27 07:55:05.3693628",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

Başarılı bir işlem tanılama günlüğü özellikleri

Ad Açıklama
SucceededOn Alma işleminin tamamlanma süresi
OperationId Azure Veri Gezgini alma işlemi KIMLIĞI
Veritabanı Hedef veritabanının adı
Tablo Hedef tablonun adı
Inestionsourceıd Alım veri kaynağının KIMLIĞI
Inestionsourcepath Alma veri kaynağının veya blob URI 'sinin yolu
RootActivityId Etkinlik Kimliği

Başarısız alma işlemi günlüğü

Örnek:

{
    "time": "2019-05-27 08:57:05.4273524",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Başarısız bir işlem tanılama günlüğünün özellikleri

Ad Açıklama
FailedOn Alma işleminin tamamlanma süresi
OperationId Azure Veri Gezgini alma işlemi KIMLIĞI
Veritabanı Hedef veritabanının adı
Tablo Hedef tablonun adı
Inestionsourceıd Alım veri kaynağının KIMLIĞI
Inestionsourcepath Alma veri kaynağının veya blob URI 'sinin yolu
RootActivityId Etkinlik Kimliği
Ayrıntılar Hatanın ve hata iletisinin ayrıntılı açıklaması
ErrorCode Alma hata kodu
FailureStatus Permanent ya da RetryAttemptsExceeded işlemin yinelenen geçici bir hatadan sonra yeniden deneme deneme sayısını veya TimeSpan sınırını aştığını gösterir.
OriginatesFromUpdatePolicy Hata bir güncelleştirme ilkesinden kaynaklanıyorsa doğru
ShouldRetry Yeniden deneme başarılı olursa doğru

Alma işlemi günlük oluşturma

Örnek:

{
  "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
  "time": "2021-04-18T19:19:57.0211782Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Timestamp": "2021-04-18T19:19:57.0211782Z",
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Time",
    "SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
    "BatchTimeSeconds": 302.1449075,
    "BatchSizeBytes": 3988,
    "DataSourcesInBatch": 2,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Alma işlemi toplu işlem tanılama günlüğünün özellikleri

Ad Açıklama
Timestamp Toplu işleme Raporlama zamanı
Veritabanı Hedef tabloyu tutan veritabanının adı
Tablo Verilerin alındığı hedef tablonun adı
BatchingType Toplu işi mühürlemeye yönelik tetikleyici. Toplu işleme türlerinin tamamı listesi için bkz. toplu işleme türleri.
SourceCreationTime Bu toplu işlemdeki Blobların oluşturulduğu en kısa süre (UTC)
BatchTimeSeconds Bu toplu işlemin toplam toplu işlem süresi (saniye)
BatchSizeBytes Bu toplu işlemdeki verilerin toplam sıkıştırılmamış boyutu (bayt)
Datasourcesınbatch Bu toplu işlemdeki veri kaynağı sayısı
RootActivityId İşlemin etkinlik KIMLIĞI

Sonraki adımlar