Tutorial: Menambahkan transformasi dalam aturan pengumpulan data ruang kerja dengan menggunakan portal Azure

Artikel
07/17/2023

Tutorial ini memandu Anda melalui konfigurasi transformasi sampel dalam aturan pengumpulan data ruang kerja (DCR) dengan menggunakan portal Azure. Transformasi di Azure Monitor memungkinkan Anda memfilter atau mengubah data yang masuk sebelum dikirim ke tujuannya. Transformasi ruang kerja memberikan dukungan untuk transformasi waktu penyerapan bagi alur kerja yang belum menggunakan alur penyerapan data Azure Monitor.

Transformasi ruang kerja disimpan bersama-sama dalam satu DCR untuk ruang kerja, yang disebut DCR ruang kerja. Setiap transformasi dikaitkan dengan tabel tertentu. Transformasi akan diterapkan ke semua data yang dikirim ke tabel ini dari alur kerja apa pun yang tidak menggunakan DCR.

Catatan

Tutorial ini menggunakan portal Azure untuk mengonfigurasi transformasi ruang kerja. Untuk tutorial yang sama menggunakan templat Azure Resource Manager dan REST API, lihat Tutorial: Menambahkan transformasi dalam aturan pengumpulan data ruang kerja ke Azure Monitor menggunakan templat resource manager.

Dalam tutorial ini, Anda akan mempelajari cara:

Mengonfigurasi transformasi ruang kerja untuk tabel di ruang kerja Analitik Log.
Menulis kueri log untuk transformasi ruang kerja.

Prasyarat

Untuk menyelesaikan tutorial ini, Anda perlu:

Ruang kerja Analitik Log tempat Anda memiliki setidaknya hak kontributor.
Izin untuk membuat objek DCR di ruang kerja.
Tabel yang sudah memiliki beberapa data.
Tabel tidak dapat ditautkan ke DCR transformasi ruang kerja.

Gambaran umum tutorial

Dalam tutorial ini, Anda akan mengurangi kebutuhan penyimpanan untuk tabel LAQueryLogs dengan memfilter rekaman tertentu. Anda juga akan menghapus konten kolom saat mengurai data kolom untuk menyimpan sepotong data di kolom kustom. Tabel LAQueryLogs dibuat saat Anda mengaktifkan pengauditan kueri log di ruang kerja. Anda dapat menggunakan proses dasar yang sama ini untuk membuat transformasi untuk tabel yang didukung di ruang kerja Log Analytics.

Tutorial ini menggunakan portal Azure, yang menyediakan wizard untuk memandu Anda melalui proses pembuatan transformasi waktu penyerapan. Setelah menyelesaikan langkah-langkahnya, Anda akan melihat bahwa wizard:

Memperbarui skema tabel dengan kolom lain dari kueri.
WorkspaceTransforms Membuat DCR dan menautkannya ke ruang kerja jika DCR default belum ditautkan ke ruang kerja.
Membuat transformasi waktu penyerapan dan menambahkannya ke DCR.

Mengaktifkan log audit kueri

Anda perlu mengaktifkan pengauditan kueri untuk ruang kerja Anda guna membuat tabel LAQueryLogs yang akan Anda kerjakan. Langkah ini tidak diperlukan untuk semua transformasi waktu penyerapan. Ini hanya untuk menghasilkan data sampel yang akan kita kerjakan.

Pada menu ruang kerja Analitik Log di portal Azure, pilih Pengaturan>diagnostik Tambahkan pengaturan diagnostik.
Masukkan nama untuk pengaturan diagnostik. Pilih ruang kerja sehingga data audit disimpan di ruang kerja yang sama. Pilih kategori Audit lalu pilih Simpan untuk menyimpan pengaturan diagnostik dan tutup halaman Pengaturan diagnostik.
Pilih Log lalu jalankan beberapa kueri untuk mengisi LAQueryLogs dengan beberapa data. Kueri ini tidak perlu mengembalikan data untuk ditambahkan ke log audit.

Menambahkan transformasi ke tabel

Sekarang setelah tabel dibuat, Anda dapat membuat transformasi untuknya.

Pada menu ruang kerja Analitik Log di portal Azure, pilih Tabel. Cari tabel LAQueryLogs dan pilih Buat transformasi.
Karena transformasi ini adalah yang pertama di ruang kerja, Anda harus membuat DCR transformasi ruang kerja. Jika Anda membuat transformasi untuk tabel lain di ruang kerja yang sama, transformasi tersebut akan disimpan dalam DCR yang sama ini. Pilih Buat aturan pengumpulan data baru. Langganan dan Grup sumber daya sudah akan diisi untuk ruang kerja. Masukkan nama untuk DCR dan pilih Selesai.
Pilih Berikutnya untuk menampilkan data sampel dari tabel. Saat Anda menentukan transformasi, hasilnya akan diterapkan ke data sampel. Untuk alasan ini, Anda dapat mengevaluasi hasil sebelum menerapkannya ke data aktual. Pilih Editor transformasi untuk menentukan transformasi.
Di editor transformasi, Anda dapat melihat transformasi yang akan diterapkan ke data sebelum penyerapannya ke dalam tabel. Data yang masuk diwakili oleh tabel virtual bernama source, yang memiliki kumpulan kolom yang sama dengan tabel tujuan itu sendiri. Transformasi awalnya berisi kueri sederhana yang mengembalikan source tabel tanpa perubahan.
Ubah kueri ke contoh berikut:
```
source
| where QueryText !contains 'LAQueryLogs'
| extend Context = parse_json(RequestContext)
| extend Workspace_CF = tostring(Context['workspaces'][0])
| project-away RequestContext, Context
```
Modifikasi membuat perubahan berikut:
- Baris yang terkait dengan kueri tabel itu LAQueryLogs sendiri dihilangkan untuk menghemat ruang karena entri log ini tidak berguna.
- Kolom untuk nama ruang kerja yang dikueri ditambahkan.
- Data dari RequestContext kolom dihapus untuk menghemat ruang.
Catatan

Menggunakan portal Azure, output dari transformasi akan memulai perubahan pada skema tabel jika diperlukan. Kolom akan ditambahkan agar sesuai dengan hasil transformasi jika belum ada. Pastikan output Anda tidak berisi kolom apa pun yang tidak ingin Anda tambahkan ke tabel. Jika output tidak menyertakan kolom yang sudah ada dalam tabel, kolom tersebut tidak akan dihapus, tetapi data tidak akan ditambahkan.

Setiap kolom kustom yang ditambahkan ke tabel bawaan harus berakhiran _CF. Kolom yang ditambahkan ke tabel kustom tidak perlu memiliki akhiran ini. Tabel kustom memiliki nama yang berakhiran _CL.
Salin kueri ke editor transformasi dan pilih Jalankan untuk menampilkan hasil dari data sampel. Anda dapat memverifikasi bahwa kolom Workspace_CF baru ada dalam kueri.
Pilih Terapkan untuk menyimpan transformasi lalu pilih Berikutnya untuk meninjau konfigurasi. Pilih Buat untuk memperbarui DCR dengan transformasi baru.

Menguji transformasi

Biarkan sekitar 30 menit agar transformasi diterapkan, lalu uji dengan menjalankan kueri terhadap tabel. Hanya data yang dikirim ke tabel setelah transformasi diterapkan yang akan terpengaruh.

Untuk tutorial ini, jalankan beberapa contoh kueri untuk mengirim data ke tabel LAQueryLogs. Sertakan beberapa kueri LAQueryLogs sehingga Anda dapat memverifikasi bahwa transformasi memfilter rekaman ini. Sekarang output memiliki kolom baru Workspace_CF , dan tidak ada rekaman untuk LAQueryLogs.

Pemecahan Masalah

Bagian ini menjelaskan berbagai kondisi kesalahan yang mungkin Anda terima dan cara memperbaikinya.

IntelliSense di Log Analytics tidak mengenali kolom baru di tabel

Cache yang mendorong IntelliSense mungkin membutuhkan waktu hingga 24 jam untuk diperbarui.

Transformasi pada kolom dinamis tidak berfungsi

Masalah yang diketahui saat ini memengaruhi kolom dinamis. Solusi sementara adalah mengurai data kolom dinamis secara eksplisit dengan menggunakan parse_json() sebelum melakukan operasi apa pun terhadapnya.