Migrasi dari API Pengumpul Data HTTP ke API Penyerapan Log untuk mengirim data ke Log Azure Monitor
API Penyerapan Log Azure Monitor memberikan lebih banyak daya pemrosesan dan fleksibilitas yang lebih besar dalam menyerap log dan mengelola tabel daripada API Pengumpul Data HTTP warisan. Artikel ini menjelaskan perbedaan antara API Pengumpul Data dan API Penyerapan Log dan memberikan panduan dan praktik terbaik untuk bermigrasi ke API Penyerapan Log baru.
Catatan
Sebagai Microsoft MVP, Morten Waltorp Knudsen berkontribusi dan memberikan umpan balik material untuk artikel ini. Untuk contoh bagaimana Anda dapat mengotomatiskan penyiapan dan penggunaan API Penyerapan Log yang sedang berlangsung, lihat modul AzLogDcrIngestPS PowerShell morten yang tersedia untuk umum.
Keuntungan dari API Penyerapan Log
API Penyerapan Log memberikan keuntungan berikut daripada API Pengumpul Data:
- Mendukung transformasi, yang memungkinkan Anda memodifikasi data sebelum diserap ke dalam tabel tujuan, termasuk pemfilteran dan manipulasi data.
- Memungkinkan Anda mengirim data ke beberapa tujuan.
- Memungkinkan Anda mengelola skema tabel tujuan, termasuk nama kolom, dan apakah akan menambahkan kolom baru ke tabel tujuan saat skema data sumber berubah.
Prasyarat
Prosedur migrasi yang dijelaskan dalam artikel ini mengasumsikan Anda memiliki:
- Ruang kerja Analitik Log tempat Anda memiliki setidaknya hak kontributor.
- Izin untuk membuat aturan pengumpulan data di ruang kerja Analitik Log.
- Aplikasi Microsoft Entra untuk mengautentikasi panggilan API atau skema autentikasi Resource Manager lainnya.
Izin yang diperlukan
| Perbuatan | Izin yang diperlukan |
|---|---|
| Membuat titik akhir kumpulan data. | Microsoft.Insights/dataCollectionEndpoints/write izin sebagaimana disediakan oleh peran bawaan Kontributor Pemantauan, misalnya. |
| Membuat atau mengubah aturan pengumpulan data. | Microsoft.Insights/DataCollectionRules/Write izin sebagaimana disediakan oleh peran bawaan Kontributor Pemantauan, misalnya. |
| Mengonversi tabel yang menggunakan DATA Collector API menjadi aturan pengumpulan data dan API Penyerapan Log. | Microsoft.OperationalInsights/workspaces/tables/migrate/action izin seperti yang disediakan oleh peran bawaan Kontributor Analitik Log, misalnya. |
| Buat tabel baru atau ubah skema tabel. | microsoft.operationalinsights/workspaces/tables/write izin seperti yang disediakan oleh peran bawaan Kontributor Analitik Log, misalnya. |
| Panggil API Penyerapan Log. | Lihat Menetapkan izin ke DCR. |
Membuat sumber daya baru yang diperlukan untuk API penyerapan log
API Penyerapan Log mengharuskan Anda membuat dua jenis sumber daya baru, yang tidak diperlukan API Pengumpul Data HTTP:
- Titik akhir pengumpulan data, dari mana data yang Anda kumpulkan diserap ke dalam alur untuk diproses.
- Aturan pengumpulan data, yang menentukan transformasi data dan tabel tujuan tempat data diserap.
Memigrasikan tabel kustom yang sudah ada atau membuat tabel baru
Jika Anda memiliki tabel kustom yang saat ini Anda kirimi data menggunakan DATA Collector API, Anda dapat:
Migrasikan tabel untuk terus menyerap data ke dalam tabel yang sama menggunakan API Penyerapan Log.
Pertahankan tabel dan data yang ada dan siapkan tabel baru tempat Anda menyerap data menggunakan API Penyerapan Log. Anda kemudian dapat menghapus tabel lama saat Anda siap.
Ini adalah opsi yang disukai, terutama jika Anda perlu membuat perubahan pada tabel yang ada. Perubahan pada jenis data yang ada dan beberapa perubahan skema pada tabel kustom Data Collector API yang ada dapat menyebabkan kesalahan.
Tip
Untuk mengidentifikasi tabel mana yang menggunakan DATA Collector API, lihat properti tabel. Properti Jenis tabel yang menggunakan DATA Collector API diatur ke Tabel kustom (klasik). Perhatikan bahwa tabel yang menyerap data menggunakan agen Analitik Log (MMA) warisan juga memiliki properti Jenis yang diatur ke Tabel kustom (klasik). Pastikan untuk bermigrasi dari agen Analitik Log ke Agen Azure Monitor sebelum mengonversi tabel MMA. Jika tidak, Anda akan berhenti menyerap data ke dalam bidang kustom dalam tabel ini setelah konversi tabel.
Tabel ini meringkas pertimbangan yang perlu diingat untuk setiap opsi:
| Migrasi tabel | Implementasi berdampingan | |
|---|---|---|
| Penamaan tabel dan kolom | Gunakan kembali nama tabel yang sudah ada. Opsi penamaan kolom: - Gunakan nama kolom baru dan tentukan transformasi untuk mengarahkan data masuk ke kolom yang baru bernama. - Lanjutkan menggunakan nama lama. |
Atur nama tabel baru dengan bebas. Perlu menyesuaikan integrasi, dasbor, dan pemberitahuan sebelum beralih ke tabel baru. |
| Prosedur migrasi | Migrasi tabel satu kali. Tidak dimungkinkan untuk mengembalikan tabel yang dimigrasikan. | Migrasi dapat dilakukan secara bertahap, per tabel. |
| Pascamigrasi | Anda dapat terus menyerap data menggunakan HTTP Data Collector API dengan kolom yang ada, kecuali kolom kustom. Serap data ke dalam kolom baru hanya menggunakan API Penyerapan Log. |
Data dalam tabel lama tersedia hingga akhir periode retensi. Saat Anda pertama kali menyiapkan tabel baru atau membuat perubahan skema, diperlukan waktu 10-15 menit agar perubahan data mulai muncul di tabel tujuan. |
Untuk mengonversi tabel yang menggunakan DATA Collector API ke aturan pengumpulan data dan API Penyerapan Log, terbitkan panggilan API ini terhadap tabel:
POST https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/{tableName}/migrate?api-version=2021-12-01-preview
Panggilan ini idempotoen, sehingga tidak berpengaruh jika tabel telah dikonversi.
Panggilan API memungkinkan semua fitur log kustom berbasis DCR pada tabel. DATA Collector API akan terus menyerap data ke dalam kolom yang ada, tetapi tidak akan membuat kolom baru apa pun. Bidang kustom yang ditentukan sebelumnya tidak akan terus diisi. Cara lain untuk memigrasikan tabel yang ada untuk menggunakan aturan pengumpulan data, tetapi belum tentu API Penyerapan Log menerapkan transformasi ruang kerja ke tabel.
Penting
- Nama kolom harus dimulai dengan huruf dan dapat terdiri dari hingga 45 karakter alfanumerik dan garis bawah (
_). _ResourceId, ,id,_SubscriptionId_ResourceId,TenantId,Type,UniqueId, danTitleadalah nama kolom yang dicadangkan.- Kolom kustom yang Anda tambahkan ke tabel Azure harus memiliki akhiran
_CF. - Jika Memperbarui skema tabel di ruang kerja Analitik Log, Anda juga harus memperbarui definisi aliran input dalam aturan pengumpulan data untuk menyerap data ke kolom baru atau yang dimodifikasi.
Memanggil API Penyerapan Log
API Penyerapan Log memungkinkan Anda mengirim hingga 1 MB data terkompresi atau tidak terkompresi per panggilan. Jika Anda perlu mengirim lebih dari 1 MB data, Anda dapat mengirim beberapa panggilan secara paralel. Ini adalah perubahan dari DATA Collector API, yang memungkinkan Anda mengirim hingga 32 MB data per panggilan.
Untuk informasi tentang cara memanggil API Penyerapan Log, lihat Panggilan REST API Penyerapan Log.
Mengubah skema tabel dan aturan pengumpulan data berdasarkan perubahan pada objek data sumber
Meskipun API Pengumpul Data secara otomatis menyesuaikan skema tabel tujuan saat skema objek data sumber berubah, API Penyerapan Log tidak. Ini memastikan bahwa Anda tidak mengumpulkan data baru ke dalam kolom yang tidak ingin Anda buat.
Saat skema data sumber berubah, Anda dapat:
- Ubah skema tabel tujuan dan aturan pengumpulan data agar selaras dengan perubahan skema data sumber.
- Tentukan transformasi dalam aturan pengumpulan data untuk mengirim data baru ke kolom yang sudah ada di tabel tujuan.
- Biarkan tabel tujuan dan aturan pengumpulan data tidak berubah. Dalam hal ini, Anda tidak akan menyerap data baru.
Catatan
Anda tidak dapat menggunakan kembali nama kolom dengan tipe data yang berbeda dengan jenis data asli yang ditentukan untuk kolom tersebut.