Menjalankan pekerjaan pencarian di Azure Monitor

Artikel
03/25/2023

Pekerjaan penelusuran adalah kueri asinkron yang mengambil rekaman ke dalam tabel pencarian baru di dalam ruang kerja Anda untuk analisis lebih lanjut. Pekerjaan pencarian menggunakan pemrosesan paralel dan dapat berjalan selama berjam-jam di seluruh himpunan data yang sangat besar. Artikel ini menjelaskan cara membuat pekerjaan penelusuran dan cara mengkueri data yang dihasilkannya.

Catatan

Fitur pekerjaan pencarian saat ini tidak didukung untuk ruang kerja dengan kunci yang dikelola pelanggan.

Izin

Untuk menjalankan pekerjaan pencarian, Anda memerlukan Microsoft.OperationalInsights/workspaces/tables/write izin dan Microsoft.OperationalInsights/workspaces/searchJobs/write ke ruang kerja Analitik Log, misalnya, seperti yang disediakan oleh peran bawaan Kontributor Analitik Log.

Kapan menggunakan pekerjaan pencarian

Gunakan pekerjaan pencarian saat batas waktu kueri log 10 menit tidak cukup untuk mencari melalui data dalam volume besar atau jika Anda menjalankan kueri lambat.

Pekerjaan pencarian juga memungkinkan Anda mengambil catatan dari Log yang Diarsipkan dan tabel Log Dasar ke dalam tabel log baru yang dapat Anda gunakan untuk kueri. Dengan cara ini, menjalankan pekerjaan pencarian dapat menjadi alternatif untuk:

Memulihkan data dari Log yang Diarsipkan untuk rentang waktu tertentu.
Gunakan pemulihan saat Anda memiliki kebutuhan sementara untuk menjalankan banyak kueri pada volume data yang besar.
Mengkueri Log Dasar secara langsung dan membayar untuk setiap kueri.
Untuk menentukan alternatif mana yang lebih hemat biaya, bandingkan biaya kueri Log Dasar dengan biaya menjalankan pekerjaan pencarian dan menyimpan hasil pekerjaan pencarian.

Apa fungsi pekerjaan pencarian?

Pekerjaan pencarian mengirimkan hasilnya ke tabel baru di ruang kerja yang sama dengan data sumber. Tabel hasil tersedia segera setelah pekerjaan pencarian dimulai, tetapi mungkin perlu waktu agar hasil mulai muncul.

Tabel hasil pekerjaan pencarian adalah tabel Analitik yang tersedia untuk kueri log dan fitur Azure Monitor lainnya yang menggunakan tabel di ruang kerja. Tabel menggunakan set nilai retensi untuk ruang kerja, tetapi Anda dapat mengubah nilai ini setelah tabel dibuat.

Skema tabel hasil pencarian didasarkan pada skema tabel sumber dan kueri yang ditentukan. Kolom lain berikut ini membantu Anda melacak rekaman sumber:

Kolom	Value
_OriginalType	Ketik nilai dari tabel sumber.
_OriginalItemId	_ItemID nilai dari tabel sumber.
_OriginalTimeGenerated	Nilai TimeGenerated dari tabel sumber.
TimeGenerated	Waktu di mana pekerjaan pencarian berjalan.

Kueri pada tabel hasil muncul dalam audit kueri log tetapi bukan pekerjaan pencarian awal.

Menjalankan pekerjaan pencarian

Jalankan pekerjaan pencarian untuk mengambil rekaman dari himpunan data besar ke dalam tabel hasil pencarian baru di ruang kerja Anda.

Tip

Anda dikenakan biaya untuk menjalankan pekerjaan pencarian. Oleh karena itu, tulis dan optimalkan kueri Anda dalam mode kueri interaktif sebelum menjalankan pekerjaan pencarian.

Untuk menjalankan pekerjaan pencarian, di portal Azure:

Dari menu ruang kerja Analitik Log, pilih Log.
Pilih menu elipsis di sisi kanan layar dan alihkan mode cari pekerjaan.

Azure Monitor Logs intellisense mendukung batasan kueri KQL dalam mode pekerjaan pencarian untuk membantu Anda menulis kueri pekerjaan pencarian Anda.
Tentukan rentang tanggal pekerjaan pencarian menggunakan pemilih waktu.
Ketik kueri pekerjaan pencarian dan pilih tombol Cari Pekerjaan .

Log Azure Monitor meminta Anda untuk memberikan nama untuk tabel kumpulan hasil dan memberi tahu Anda bahwa pekerjaan pencarian tunduk pada penagihan.
Masukkan nama untuk tabel hasil pekerjaan pencarian dan pilih Jalankan pekerjaan pencarian.

Log Azure Monitor menjalankan pekerjaan pencarian dan membuat tabel baru di ruang kerja Anda untuk hasil pekerjaan pencarian Anda.
Saat tabel baru siap, pilih Tampilkan tablename_SRCH untuk menampilkan tabel di Analitik Log.

Anda dapat melihat hasil pekerjaan pencarian saat mulai mengalir ke tabel hasil pekerjaan pencarian yang baru dibuat.

Log Azure Monitor memperlihatkan pekerjaan Pencarian dilakukan pesan di akhir pekerjaan pencarian. Tabel hasil sekarang siap dengan semua rekaman yang cocok dengan kueri pencarian.

Untuk menjalankan pekerjaan pencarian, panggil API Tabel - Buat atau Perbarui. Panggilan menyertakan nama tabel hasil yang akan dibuat. Nama tabel hasil harus diakhiri dengan _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Badan permintaan

Sertakan nilai-nilai berikut dalam isi permintaan:

Nama	Tipe	Deskripsi
properties.searchResults.query	string	Kueri log ditulis di KQL untuk mengambil data.
properties.searchResults.limit	Integer	Jumlah maksimum catatan dalam hasil yang ditetapkan, hingga satu juta catatan. (Opsional)
properties.searchResults.startSearchTime	string	Mulai dari rentang waktu untuk mencari.
properties.searchResults.endSearchTime	string	Akhir dari rentang waktu untuk mencari.

Permintaan sampel

Contoh ini membuat tabel yang disebut Syslog_suspected_SRCH dengan hasil kueri yang mencari catatan tertentu di tabel Syslog.

Permintaan

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Badan permintaan

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Respons

Kode status: diterima 202.

Untuk menjalankan pekerjaan pencarian, jalankan perintah az monitor log-analytics workspace search-job create. Nama tabel hasil, yang Anda atur menggunakan --name parameter, harus diakhiri dengan _SRCH.

Misalnya:

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Mendapatkan status dan detail pekerjaan pencarian

Dari menu ruang kerja Analitik Log, pilih Log.
Dari tab Tabel, pilih Hasil pencarian untuk melihat semua tabel hasil pekerjaan pencarian.

Ikon pada tabel hasil pekerjaan pencarian menampilkan indikasi pembaruan hingga pekerjaan pencarian selesai.

Panggil API Tabel - Dapatkan untuk mendapatkan status dan detail pekerjaan pencarian:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Status tabel

Setiap tabel pekerjaan pencarian memiliki properti yang disebut provisioningState, yang dapat memiliki salah satu nilai berikut:

Keadaan	Deskripsi
Memperbarui	Mengisi tabel dan skemanya.
SedangBerlangsung	Pekerjaan pencarian sedang berjalan, mengambil data.
Berhasil	Pekerjaan pencarian selesai.
Menghapus	Menghapus tabel pekerjaan pencarian.

Permintaan sampel

Contoh ini mengambil status tabel untuk pekerjaan pencarian di contoh sebelumnya.

Permintaan

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Respons

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

Untuk memeriksa status dan detail tabel pekerjaan penelusuran, jalankan perintah tampilan tabel ruang kerja analitik log az monitor.

Misalnya:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Menghapus tabel pekerjaan pencarian

Kami sarankan Anda menghapus tabel pekerjaan pencarian saat Anda selesai mengkueri tabel. Ini mengurangi kekacauan ruang kerja dan biaya tambahan untuk retensi data.

Pembatasan

Pekerjaan pencarian tunduk pada batasan berikut:

Dioptimalkan untuk mengkueri satu tabel pada satu waktu.
Rentang tanggal pencarian hingga satu tahun.
Mendukung pencarian jangka panjang hingga batas waktu 24 jam.
Hasil dibatasi hingga satu juta catatan dalam kumpulan catatan.
Eksekusi bersamaan dibatasi hingga lima pekerjaan pencarian per ruang kerja.
Terbatas pada 100 tabel hasil pencarian per ruang kerja.
Terbatas pada 100 eksekusi pekerjaan pencarian per hari per ruang kerja.

Saat Anda mencapai batas rekor, Azure membatalkan pekerjaan dengan status keberhasilan parsial, dan tabel hanya akan berisi catatan yang tertelan hingga saat itu.

Batasan kueri KQL

Pekerjaan pencarian dimaksudkan untuk memindai data dalam volume besar dalam tabel tertentu. Oleh karena itu, kueri pekerjaan pencarian harus selalu dimulai dengan nama tabel. Untuk mengaktifkan eksekusi asinkron menggunakan distribusi dan segmentasi, kueri mendukung subset KQL, termasuk operator:

Anda dapat menggunakan semua fungsi dan operator biner dalam operator ini.

Rencana harga

Biaya untuk pekerjaan pencarian didasarkan pada:

Eksekusi pekerjaan pencarian - jumlah data yang dipindai pekerjaan pencarian.
Hasil pekerjaan pencarian - jumlah data yang ditemukan pekerjaan pencarian dan diserap ke dalam tabel hasil, berdasarkan harga penyerapan data log reguler.

Misalnya, jika tabel Anda menyimpan 500 GB per hari, untuk pencarian selama 30 hari, Anda akan dikenakan biaya untuk 15.000 GB data yang dipindai. Jika pekerjaan pencarian menemukan 1.000 rekaman yang cocok dengan kueri pencarian, Anda akan dikenakan biaya untuk menyerap 1.000 rekaman ini ke dalam tabel hasil.

Untuk informasi selengkapnya, lihat Harga Azure Monitor.