Share via

Normalisasi waktu penyerapan

  • Artikel

Penguraian waktu kueri

Sebagai diskusi dalam gambaran umum ASIM, Microsoft Azure Sentinel menggunakan waktu kueri dan menelan normalisasi waktu untuk memanfaatkan keuntungan masing-masing.

Untuk menggunakan normalisasi waktu kueri, gunakan pengurai pemersatu waktu kueri, seperti _Im_Dns dalam kueri Anda. Menormalkan menggunakan penguraian waktu kueri memiliki beberapa keuntungan:

  • Mempertahankan format asli: Normalisasi waktu kueri tidak mengharuskan data dimodifikasi, sehingga mempertahankan format data asli yang dikirim oleh sumbernya.
  • Menghindari potensi penyimpanan duplikat: Karena data yang dinormalisasi hanyalah tampilan data asli, tidak perlu menyimpan data asli dan yang dinormalisasi.
  • Pengembangan yang lebih mudah: Karena pengurai waktu kueri menyajikan tampilan data dan tidak mengubah data, pengurai waktu tersebut mudah dikembangkan. Mengembangkan, menguji, dan memperbaiki pengurai semuanya dapat dilakukan pada data yang ada. Selain itu, pengurai dapat diperbaiki ketika masalah ditemukan dan perbaikan akan berlaku untuk data yang ada.

Ingest time parsing

Meskipun pengurai waktu kueri ASIM dioptimalkan, penguraian waktu kueri dapat memperlambat kueri, terutama pada himpunan data besar.

Penguraian waktu penyerapan memungkinkan transformasi peristiwa ke skema yang dinormalisasi saat diserap ke Microsoft Azure Sentinel dan menyimpannya dalam format yang dinormalisasi. Penguraian waktu penyerapan kurang fleksibel dan pengurai lebih sulit dikembangkan, tetapi karena data disimpan dalam format yang dinormalisasi, menawarkan performa yang lebih baik.

Data yang dinormalisasi dapat disimpan dalam tabel asli Microsoft Sentinel yang dinormalisasi, atau dalam tabel kustom yang menggunakan skema ASIM. Tabel kustom yang memiliki skema yang dekat dengan, tetapi tidak identik, dengan skema ASIM, juga memberikan manfaat performa dari normalisasi waktu penyerapan.

Saat ini, ASIM mendukung tabel asli yang dinormalisasi berikut sebagai tujuan untuk mencerna normalisasi waktu:

Keuntungan dari tabel asli yang dinormalisasi adalah tabel tersebut disertakan secara default dalam pengurai pemersatu ASIM. Tabel kustom yang dinormalisasi dapat disertakan dalam pengurai pemersatu, seperti yang dibahas dalam Mengelola Parser.

Menggabungkan waktu penyerapan dan normalisasi waktu kueri

Kueri harus selalu menggunakan pengurai pemersatu waktu kueri, seperti _Im_Dns untuk memanfaatkan waktu kueri dan normalisasi waktu penyerapan. Tabel asli yang dinormalisasi disertakan dalam data yang dikueri dengan menggunakan pengurai stub.

Pengurai stub adalah pengurai waktu kueri yang menggunakan sebagai input tabel yang dinormalisasi. Karena tabel yang dinormalisasi tidak memerlukan penguraian, pengurai stub efisien.

Pengurai stub menyajikan tampilan ke kueri panggilan yang ditambahkan ke tabel asli ASIM:

  • Alias - agar tidak membuang penyimpanan pada nilai berulang, alias tidak disimpan dalam tabel asli ASIM dan ditambahkan pada waktu kueri oleh pengurai stub.
  • Nilai konstanta - Seperti alias, dan untuk alasan yang sama, tabel yang dinormalisasi ASIM juga tidak menyimpan nilai konstan seperti EventSchema. Pengurai stub menambahkan bidang tersebut. Tabel yang dinormalisasi ASIM dibagikan oleh banyak sumber, dan pengurai waktu penyerapan dapat mengubah versi outputnya. Oleh karena itu, bidang seperti EventProduct, EventVendor, dan EventSchemaVersion tidak konstan dan tidak ditambahkan oleh pengurai stub.
  • Pemfilteran - pengurai stub juga mengimplementasikan pemfilteran. Meskipun tabel asli ASIM tidak memerlukan pemfilteran parser untuk mencapai performa yang lebih baik, pemfilteran diperlukan untuk mendukung penyertaan dalam pengurai pemersatu.
  • Updates dan perbaikan - Menggunakan pengurai stub memungkinkan perbaikan masalah lebih cepat. Misalnya jika data salah diserap, alamat IP mungkin belum diekstraksi dari bidang pesan selama penyerapan. Alamat IP dapat diekstrak oleh pengurai stub pada waktu kueri.

Saat menggunakan tabel kustom yang dinormalisasi, buat pengurai stub Anda sendiri untuk mengimplementasikan fungsionalitas ini, dan menambahkannya ke pengurai pemersatu seperti yang dibahas di Kelola Parser. Gunakan pengurai stub untuk tabel asli, seperti pengurai stub tabel asli DNS dan rekan pemfilterannya, sebagai titik awal. Jika tabel Anda semi-normal, gunakan pengurai stub untuk melakukan penguraian dan normalisasi tambahan yang diperlukan.

Pelajari selengkapnya tentang menulis parser di Mengembangkan parser ASIM.

Menerapkan normalisasi waktu penyerapan

Untuk menormalkan data saat penyerapan, Anda harus menggunakan Aturan Pengumpulan Data (DCR). Prosedur untuk menerapkan DCR tergantung pada metode yang digunakan untuk menyerap data. Untuk informasi selengkapnya, lihat artikel Mengubah atau menyesuaikan data pada waktu penyerapan di Microsoft Azure Sentinel.

Kueri transformasi KQL adalah inti dari DCR. Versi KQL yang digunakan dalam DCI sedikit berbeda dari versi yang digunakan di tempat lain di Microsoft Azure Sentinel untuk mengakomodasi persyaratan pemrosesan peristiwa alur. Oleh karena itu, Anda harus memodifikasi pengurai waktu kueri apa pun untuk menggunakannya dalam DCR. Untuk informasi selengkapnya tentang perbedaan, dan cara mengonversi pengurai waktu kueri menjadi pengurai waktu penyerapan, baca tentang batasan DCR KQL.

Langkah berikutnya

Untuk informasi selengkapnya, lihat: