Memantau penyerapan, perintah, kueri, dan tabel Azure Data Explorer menggunakan log diagnostik

  • Artikel
  • 9 menit untuk membaca

Azure Data Explorer adalah layanan analitik data yang cepat dan terkelola sepenuhnya untuk analisis real time pada aliran data dalam jumlah besar dari aplikasi, situs web, perangkat IoT, dan banyak lagi. Log diagnostik Azure Monitor menyediakan data tentang pengoperasian sumber daya Azure. Azure Data Explorer menggunakan log diagnostik untuk wawasan tentang penyerapan, perintah, kueri, dan tabel. Anda dapat mengekspor log operasi ke Azure Storage, hub peristiwa, atau Analitik Log untuk memantau penyerapan, perintah, dan status kueri. Log dari Azure Storage dan Azure Event Hubs dapat dirutekan ke tabel di kluster Azure Data Explorer Anda untuk analisis lebih lanjut.

Penting

Data log diagnostik mungkin berisi data sensitif. Batasi izin tujuan log sesuai dengan kebutuhan pemantauan Anda.

Prasyarat

Menyiapkan log diagnostik untuk kluster Azure Data Explorer

Log diagnostik dapat digunakan untuk mengonfigurasi pengumpulan data log berikut:

Catatan

Log penyerapan didukung untuk penyerapan antrean ke titik akhir penyerapan menggunakan SDK, koneksi data, dan konektor.

Log penyerapan tidak didukung untuk penyerapan streaming, penyerapan langsung ke mesin, penyerapan dari kueri, atau perintah set-or-append.

Catatan

Log penyerapan yang gagal hanya dilaporkan untuk status akhir operasi penyerapan, tidak seperti metrik hasil Penyerapan , yang dipancarkan untuk kegagalan sementara yang dicoba ulang secara internal.

  • Operasi penyerapan yang berhasil: Log ini memiliki informasi tentang operasi penyerapan yang berhasil diselesaikan.
  • Operasi penyerapan yang gagal: Log ini memiliki informasi terperinci tentang operasi penyerapan yang gagal termasuk detail kesalahan.
  • Operasi batch penyerapan: Log ini memiliki statistik terperinci batch yang siap diserap (durasi, ukuran batch, jumlah blob, dan jenis batching).

Data kemudian diarsipkan ke akun Storage, dialirkan ke hub peristiwa, atau dikirim ke Analitik Log, sesuai spesifikasi Anda.

Aktifkan log diagnostik

Log diagnostik dinonaktifkan secara default. Untuk mengaktifkan log diagnostik, lakukan langkah-langkah berikut:

  1. Di portal Azure, pilih sumber daya kluster Azure Data Explorer yang ingin Anda pantau.

  2. Di bawahPemantauan, pilih Pengaturan diagnostik.

    Add diagnostics logs.

  3. Pilih Menambahkan pengaturan diagnostik.

  4. Di jendela Pengaturan diagnostik :

    Configure diagnostics settings.

    1. Masukkan nama pengaturan Diagnostik.
    2. Pilih satu atau beberapa target: ruang kerja Analitik Log, akun penyimpanan, atau hub peristiwa.
    3. Pilih log yang akan dikumpulkan: SucceededIngestion, , FailedIngestion, CommandIngestionBatching, atau Query, TableUsageStatistics, atau TableDetails.
    4. Pilih metrik yang akan dikumpulkan (opsional).
    5. Pilih Simpan untuk menyimpan pengaturan dan metrik log diagnostik baru.

Pengaturan baru akan diatur dalam beberapa menit. Log kemudian muncul di target arsip yang dikonfigurasi (akun Storage, Pusat Aktivitas, atau Analitik Log).

Catatan

Jika Anda mengirim log ke Log Analytics, SucceededIngestionlog , , FailedIngestionIngestionBatching, QueryCommand, , TableUsageStatistics dan TableDetails akan disimpan dalam tabel Log Analytics masing-masing bernama: SucceededIngestion, FailedIngestion, ADXIngestionBatching, ADXCommand, ADXQuery, ADXTableUsageStatistics dan ADXTableDetails .

Skema log diagnostik

Semua log diagnostik Azure Monitor berbagi skema tingkat atas umum. Azure Data Explorer memiliki properti unik untuk peristiwa mereka sendiri. Semua log disimpan dalam format JSON.

Skema log penyerapan

String JSON log menyertakan elemen yang tercantum dalam tabel berikut:

Nama Deskripsi
waktu Waktu laporan
resourceId ID sumber daya Azure Resource Manager
operationName Nama operasi: 'MICROSOFT. KUSTO/CLUSTERS/INGEST/ACTION'
operationVersion Versi skema: '1.0'
kategori Kategori operasi. SucceededIngestion, FailedIngestion atau IngestionBatching. Properti berbeda untuk operasi yang berhasil, operasi gagal , atau operasi batching.
properties Informasi terperinci tentang operasi.

Log operasi penyerapan yang berhasil

Contoh:

{
    "time": "2019-05-27 07:55:05.3693628",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "SucceededIngestion",
    "properties":
    {
        "SucceededOn": "2019-05-27 07:55:05.3693628",
        "OperationId": "b446c48f-6e2f-4884-b723-92eb6dc99cc9",
        "Database": "Samples",
        "Table": "StormEvents",
        "IngestionSourceId": "66a2959e-80de-4952-975d-b65072fc571d",
        "IngestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events8347293.json",
        "RootActivityId": "d0bd5dd3-c564-4647-953e-05670e22a81d"
    }
}

Properti log diagnostik operasi yang berhasil

Nama Deskripsi
SucceededOn Waktu penyelesaian penyerapan
OperationId ID operasi penyerapan Azure Data Explorer
Database Nama database target
Tabel Nama tabel target
IngestionSourceId ID sumber data penyerapan
IngestionSourcePath Jalur sumber data penyerapan atau URI blob
RootActivityId ID Aktivitas

Log operasi penyerapan yang gagal

Contoh:

{
    "time": "2019-05-27 08:57:05.4273524",
    "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "properties":
    {
        "failedOn": "2019-05-27 08:57:05.4273524",
        "operationId": "5956515d-9a48-4544-a514-cf4656fe7f95",
        "database": "Samples",
        "table": "StormEvents",
        "ingestionSourceId": "eee56f8c-2211-4ea4-93a6-be556e853e5f",
        "ingestionSourcePath": "https://kustoingestionlogs.blob.core.windows.net/sampledata/events5725592.json",
        "rootActivityId": "52134905-947a-4231-afaf-13d9b7b184d5",
        "details": "Permanent failure downloading blob. URI: ..., permanentReason: Download_SourceNotFound, DownloadFailedException: 'Could not find file ...'",
        "errorCode": "Download_SourceNotFound",
        "failureStatus": "Permanent",
        "originatesFromUpdatePolicy": false,
        "shouldRetry": false
    }
}

Properti log diagnostik operasi yang gagal

Nama Deskripsi
FailedOn Waktu penyelesaian penyerapan
OperationId ID operasi penyerapan Azure Data Explorer
Database Nama database target
Tabel Nama tabel target
IngestionSourceId ID sumber data penyerapan
IngestionSourcePath Jalur sumber data penyerapan atau URI blob
RootActivityId ID Aktivitas
Detail Deskripsi terperinci tentang kegagalan dan pesan kesalahan
ErrorCode Kode kesalahan penyerapan
FailureStatus Permanent atau RetryAttemptsExceeded menunjukkan bahwa operasi telah melebihi batas upaya percobaan kembali atau batas rentang waktu setelah kesalahan sementara berulang.
OriginatesFromUpdatePolicy True jika kegagalan berasal dari kebijakan pembaruan
ShouldRetry True jika coba lagi mungkin berhasil

Log operasi batching penyerapan

Contoh:

{
  "resourceId": "/SUBSCRIPTIONS/12534000-8109-4D84-83AD-576C0D5E1AAA/RESOURCEGROUPS/myResourceGroup/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/mycluster",
  "time": "2021-04-18T19:19:57.0211782Z",
  "operationVersion": "1.0",
  "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGESTIONBATCHING/ACTION",
  "category": "IngestionBatching",
  "correlationId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735",
  "properties": {
    "Timestamp": "2021-04-18T19:19:57.0211782Z",
    "Database": "Samples",
    "Table": "StormEvents",
    "BatchingType": "Time",
    "SourceCreationTime": "2021-04-18T19:14:53.9543732Z",
    "BatchTimeSeconds": 302.1449075,
    "BatchSizeBytes": 3988,
    "DataSourcesInBatch": 2,
    "RootActivityId": "2bb51038-c7dc-4ebd-9d7f-b34ece4cb735"
  }
}

Properti dari log diagnostik operasi batching penyerapan

Nama Deskripsi
Tanda waktu Waktu pelaporan batching
Database Nama database yang menyimpan tabel target
Tabel Nama tabel target tempat data diserap
BatchingType Pemicu untuk menyegel batch. Untuk daftar lengkap jenis batching, lihat Jenis batching.
SourceCreationTime Waktu minimal (UTC) di mana blob dalam batch ini dibuat
BatchTimeSeconds Total waktu batching batch ini (detik)
BatchSizeBytes Total ukuran data yang tidak dikompresi dalam batch ini (byte)
DataSourcesInBatch Jumlah sumber data dalam batch ini
RootActivityId ID aktivitas operasi

Langkah berikutnya