Panduan migrasi Log Analytics untuk klaster Azure HDInsight
Azure HDInsight adalah layanan klaster terkelola yang siap untuk perusahaan. Layanan ini menjalankan kerangka kerja analitik sumber terbuka seperti Apache Spark, Hadoop, HBase, dan Kafka pada Azure. Azure HDInsight telah terintegrasi dengan layanan Azure lainnya untuk memungkinkan konsumen mengelola aplikasi analitik big data mereka dengan lebih baik.
Log Analytics menyediakan alat di portal Azure untuk mengedit dan menjalankan kueri log. Kueri berasal dari data yang dikumpulkan oleh Azure Monitor Logs dan secara interaktif menganalisis hasilnya. Konsumen dapat menggunakan kueri Log Analytics untuk mengambil rekaman yang sesuai dengan kriteria tertentu. Mereka juga dapat menggunakan kueri untuk mengidentifikasi tren, menganalisis pola, dan memberikan wawasan tentang data mereka.
Azure HDInsight mengaktifkan integrasi dengan Log Analytics pada tahun 2017. Konsumen HDInsight dengan cepat mengadopsi fitur ini untuk memantau klaster HDInsight mereka dan mengkueri log di klaster. Selagi adopsi fitur ini meningkat, konsumen telah memberikan tanggapan tentang integrasi:
- Konsumen tidak dapat memutuskan log mana yang akan disimpan, dan penyimpanan semua log akan berbiaya besar.
- Log skema HDInsight saat ini tidak mengikuti konvensi penamaan yang konsisten dan beberapa tabel berulang.
- Konsumen menginginkan dasbor out-of-box untuk memantau KPI dari klaster HDInsight mereka dengan mudah.
- Konsumen harus melompat ke Log Analytics untuk menjalankan kueri sederhana.
Ikhtisar solusi
Dengan mempertimbangkan tanggapan konsumen, tim Azure HDInsight berinvestasi dalam integrasi dengan Azure Monitor. Integrasi ini memungkinkan:
- Set tabel baru di ruang kerja Log Analytics konsumen. Tabel baru dikirimkan melalui alur Log Analytics baru.
- Ketahanan yang lebih tinggi
- Pengiriman log yang lebih cepat
- Pengelompokan tabel berbasis sumber daya dan kueri default
Catatan
Integrasi Azure Monitor Baru dapat ditemukan di Pratinjau Umum di seluruh wilayah tempat HDInsight tersedia.
Manfaat integrasi Azure Monitor baru
Dokumen ini menguraikan perubahan pada integrasi Azure Monitor dan menyediakan praktik terbaik untuk menggunakan tabel baru.
Skema yang didesain ulang: Pemformatan skema untuk integrasi Azure Monitor baru lebih terorganisir dan mudah dipahami. Ada pengurangan skema sebesar dua pertiga untuk menghilangkan sebanyak mungkin ambiguitas dalam skema warisan.
Pengelogan Selektif: Terdapat log dan metrik yang tersedia melalui Analitik Log. Untuk membantu Anda menghemat biaya pemantauan, kami akan merilis fitur pencatatan selektif baru. Gunakan fitur ini untuk mengaktifkan dan menonaktifkan log dan sumber metrik yang berbeda. Dengan fitur ini, Anda hanya perlu membayar apa yang Anda gunakan. Untuk detail selengkapnya, lihat Pengelogan Selektif
Integrasi portal klaster log: Panel Log baru di portal Klaster HDInsight. Siapa pun yang memiliki akses ke klaster bisa membuka panel ini untuk mengkueri tabel tempat sumber daya klaster mengirim rekaman. Pengguna tidak memerlukan akses ke ruang kerja Log Analytics lagi untuk melihat rekaman untuk sumber daya klaster tertentu.
Integrasi portal klaster Insights: Panel Insights juga merupakan fitur baru di portal Klaster HDInsight. Setelah mengaktifkan integrasi Azure Monitor baru, Anda dapat memilih panel Insight sehingga dasbor log dan metrik out-of-box khusus untuk jenis klaster akan secara otomatis diisi untuk Anda. Dasbor ini telah ditingkatkan dari solusi Azure kami sebelumnya. Ia memberi Anda wawasan mendalam tentang kinerja dan kesehatan klaster Anda.
Skenario konsumen
Bagian berikut ini menjelaskan cara konsumen menggunakan integrasi Azure Monitor baru dalam skenario yang berbeda. Bagian Mengaktifkan integrasi Azure Monitor baru menguraikan cara mengaktifkan dan menggunakan integrasi Azure Monitor baru. Bagian Migrasi dari Azure Monitor Classic ke Integrasi Azure Monitor baru menyertakan informasi tambahan untuk pengguna yang bergantung pada integrasi Azure Monitor lama.
Catatan
Hanya klaster yang dibuat pada akhir September 2020 dan setelahnya yang memenuhi syarat untuk integrasi Azure Monitor yang baru.
Mengaktifkan integrasi Azure Monitor baru
Catatan
Anda harus memiliki ruang kerja Log Analytics yang dibuat dalam langganan yang dapat Anda akses sebelum mengaktifkan integrasi baru. Untuk informasi selengkapnya tentang cara membuat ruang kerja Log Analytics, lihat Membuat ruang kerja Log Analytics di portal Azure.
Aktifkan integrasi baru dengan membuka halaman portal klaster Anda dan menggulirkan ke bawah menu di sebelah kiri hingga Anda mencapai bagian Pemantauan. Di bagian Pemantauan, pilih Pantau integrasi. Kemudian, pilih Aktifkan dan Anda dapat memilih ruang kerja Log Analytics yang Anda inginkan untuk dikirim ke log Anda. Pilih Simpan setelah Anda memilih ruang kerja Anda.
Mengakses tabel baru
Ada dua cara untuk mengakses tabel baru.
Pendekatan 1:
Cara pertama untuk mengakses tabel baru adalah melalui ruang kerja Log Analytics.
- Buka ruang kerja Log Analytics yang Anda pilih saat mengaktifkan integrasi.
- Gulirkan ke bawah di menu di sisi kiri layar dan pilih Log. Editor kueri Log akan muncul dengan daftar semua tabel di ruang kerja.
- Jika tabel dikelompokkan menurut Solusi, tabel HDI baru berada di bawah bagian Manajemen Log.
- Jika Anda mengelompokkan tabel menurut Jenis Sumber Daya, tabel berada di bawah bagian Klaster HDInsight seperti yang ditampilkan di gambar di bawah ini.
Catatan
Proses ini menjelaskan cara log diakses di integrasi lama. Ini mengharuskan pengguna untuk memiliki akses ke ruang kerja.
Pendekatan 2:
Cara kedua untuk mengakses tabel baru adalah melalui akses portal Klaster.
- Arahkan ke halaman portal Klaster Anda dan gulirkan ke bawah menu di sisi kiri hingga Anda melihat bagian Pemantauan. Di bagian ini, Anda akan melihat panel Log.
- Pilih Log dan editor kueri Log muncul. Editor berisi semua log yang terkait dengan sumber daya klaster. Anda mengirim log ke ruang kerja Log Analytics saat mengaktifkan integrasi. Log ini menyediakan akses berbasis sumber daya (RBAC). Dengan RBAC, pengguna yang memiliki akses ke klaster tetapi tidak memiliki akses ke ruang kerja dapat melihat log yang terkait dengan klaster.
Sebagai perbandingan, tangkapan layar berikut menampilkan tampilan ruang kerja integrasi warisan dan tampilan ruang kerja integrasi baru:
Tampilan ruang kerja integrasi warisan
Tampilan ruang kerja integrasi baru
Menggunakan tabel baru
Integrasi ini dapat membantu Anda menggunakan tabel baru:
Kueri default untuk digunakan dengan tabel baru
Di editor kueri Logs Anda, atur pengalih ke Kueri di atas daftar tabel. Pastikan Anda mengelompokkan kueri berdasarkan Jenis Sumber Daya dan tidak ada filter yang diatur untuk jenis sumber daya selain Klaster HDInsight. Gambar berikut menampilkan tampilan hasilnya saat dikelompokkan berdasarkan Jenis Sumber Daya dan difilter untuk Klaster HDInsight. Cukup pilih satu dan ia muncul di editor kueri Log. Pastikan untuk membaca komentar yang disertakan dalam kueri, karena beberapa mengharuskan Anda memasukkan beberapa informasi, seperti nama klaster Anda, agar kueri berhasil dijalankan.
Membuat kueri Anda sendiri
Anda bisa memasukkan kueri Anda sendiri di editor kueri Log. Kueri yang digunakan pada tabel lama tidak akan valid pada tabel baru karena sebagian besar tabel baru memiliki skema baru yang disempurnakan. Kueri default adalah referensi hebat untuk membentuk kueri pada tabel baru.
Insights
Insights adalah dasbor visualisasi khusus klaster yang dibuat menggunakan Azure Buku Kerja. Dasbor ini memberi Anda grafik dan visualisasi terperinci tentang cara klaster Anda berjalan. Dasbor memiliki bagian untuk setiap jenis, YARN, metrik sistem, dan log komponen klaster. Anda dapat mengakses dasbor klaster dengan mengunjungi halaman klaster di portal, menggulirkan ke bawah ke bagian Pemantauan, dan memilih panel Insights. Dasbor dimuat secara otomatis jika Anda telah mengaktifkan integrasi baru. Biarkan selama beberapa detik agar grafik dimuat karena grafik mengkueri log.
Buku Kerja Azure Kustom
Anda bisa membuat buku kerja Azure Anda sendiri dengan grafik dan visualisasi kustom. Di halaman portal klaster Anda, gulirkan ke bawah ke bagian Pemantauan dan pilih panel Buku Kerja di menu di sebelah kiri. Anda dapat mulai menggunakan templat kosong atau menggunakan salah satu templat di bawah bagian Klaster HDInsight. Ada templat untuk setiap jenis klaster. Templat berguna jika Anda ingin menyimpan kustomisasi tertentu yang tidak menyediakan HDInsight Insights default. Jangan ragu untuk mengirim permintaan untuk fitur baru di HDInsight Insights jika Anda merasa ada kekurangan.
Peringatan
Anda bisa menambahkan peringatan kustom ke klaster dan ruang kerja Anda di editor kueri Log. Buka editor kueri Log dengan memilih panel Log dari portal klaster atau ruang kerja Anda. Jalankan kueri lalu pilih Aturan Peringatan Baru seperti yang ditampilkan dalam cuplikan layar berikut ini. Untuk informasi selengkapnya, baca tentang mengonfigurasi peringatan.
Migrasi ke Integrasi Azure Monitor yang baru
Jika Anda menggunakan integrasi Azure Monitor klasik, Anda perlu membuat beberapa penyesuaian pada format tabel baru setelah beralih ke integrasi Azure Monitor baru.
Untuk mengaktifkan integrasi Azure Monitor baru, ikuti langkah-langkah yang diuraikan di bagian Mengaktifkan integrasi Azure Monitor baru.
Menjalankan kueri di Log Analytics
Karena format tabel baru berbeda dari yang sebelumnya, kueri Anda harus dikerjakan ulang agar Anda dapat menggunakan tabel baru kami. Setelah mengaktifkan integrasi Azure Monitor baru, Anda dapat menelusuri tabel dan skema untuk mengidentifikasi bidang yang digunakan dalam kueri lama Anda.
Kami menyediakan tabel pemetaan antara tabel lama ke tabel baru untuk membantu Anda menemukan bidang baru yang perlu Anda gunakan dengan cepat untuk memigrasikan dasbor dan kueri Anda.
Kueri default: Kami membuat kueri default yang menampilkan cara menggunakan tabel baru untuk situasi umum. Kueri default juga menampilkan informasi apa yang tersedia di setiap tabel. Anda bisa mengakses kueri default dengan mengikuti instruksi di bagian Kueri default untuk digunakan dengan tabel baru di artikel ini.
Memperbarui dasbor untuk klaster HDInsight
Jika Anda telah membuat beberapa dasbor untuk memantau klaster HDInsight, Anda perlu menyesuaikan kueri di balik tabel setelah mengaktifkan integrasi Azure Monitor baru. Nama tabel atau nama bidang mungkin berubah dalam integrasi baru, tetapi semua informasi yang Anda miliki dalam integrasi lama disertakan.
Lihat tabel pemetaan antara tabel/skema lama ke tabel/skema baru untuk memperbarui kueri di balik dasbor.
Dasbor out-of-box
Kami juga meningkatkan dasbor out-of-box di semua tingkat klaster. Ada tombol di kanan atas setiap grafik yang memungkinkan Anda melihat kueri yang mendasari yang menghasilkan informasi. Grafik adalah cara yang bagus untuk membiasakan diri dengan cara mengkueri tabel baru secara efektif.
Mengaktifkan semua integrasi untuk mempercepat migrasi
Anda dapat mengaktifkan integrasi Azure Monitor klasik dan baru secara bersamaan pada klaster yang memenuhi syarat untuk semua integrasi untuk bermigrasi ke integrasi Azure Monitor baru dengan cepat. Integrasi baru tersedia untuk semua klaster yang dibuat setelah pertengahan September 2020.
Dengan cara ini, Anda dapat dengan mudah melakukan perbandingan berdampingan untuk kueri yang Anda gunakan.
Mengaktifkan integrasi klasik
Jika menggunakan klaster yang dibuat setelah pertengahan September 2020, Anda akan melihat pengalaman portal baru di portal klaster Anda. Untuk mengaktifkan alur baru, Anda bisa mengikuti langkah-langkah yang diuraikan di bagian Mengaktifkan integrasi Azure Monitor baru. Untuk mengaktifkan integrasi klasik pada klaster ini, buka halaman portal klaster Anda. Pilih panel Pantau integrasi di bagianPemantauan dari menu di sisi kiri halaman portal klaster Anda. Pilih Konfigurasikan Azure Monitor untuk integrasi klaster HDInsight (klasik). Konteks sampingan muncul dengan peralihan yang dapat Anda gunakan untuk mengaktifkan dan menonaktifkan integrasi Azure Monitor klasik.
Catatan
Anda tidak akan melihat log atau metrik apa pun dari integrasi klasik melalui log portal Klaster dan halaman Insights. Hanya log dan metrik integrasi baru yang akan ada di lokasi tersebut.
Pembuatan kluster baru dengan integrasi Azure Monitor klasik tidak akan tersedia setelah 1 Juli 2023.
Linimasa rilis dan dukungan
- Integrasi Azure Monitor Klasik tidak akan tersedia setelah 15 Oktober 2021. Anda tidak dapat mengaktifkan integrasi Azure Monitor klasik setelah tanggal tersebut.
- Integrasi pemantauan Azure klasik yang ada akan terus berfungsi. Akan ada dukungan terbatas untuk integrasi Azure Monitor klasik.
- Masalah akan diselidiki setelah konsumen mengirimkan tiket dukungan.
- Jika solusi memerlukan perubahan gambar, konsumen harus pindah ke integrasi baru.
- Kami tidak akan melakukan patch pada klaster integrasi Azure Monitor klasik kecuali untuk masalah keamanan penting.
Lampiran: Pemetaan tabel
Untuk pemetaan tabel log dari integrasi Azure Monitor klasik ke yang baru, lihat Pemetaan tabel log.
Konten terkait
Mengkueri log Azure Monitor untuk memantau kluster Microsoft Azure HDInsight