Mendeteksi dan mengurangi potensi masalah menggunakan AIOps dan pembelajaran mesin di Azure Monitor

  • Artikel

Kecerdasan Buatan untuk Operasi TI (AIOps) menawarkan cara yang kuat untuk meningkatkan kualitas dan keandalan layanan dengan menggunakan pembelajaran mesin untuk memproses dan secara otomatis bertindak pada data yang Anda kumpulkan dari aplikasi, layanan, dan sumber daya TI ke Azure Monitor.

Kemampuan AIOps bawaan Azure Monitor memberikan wawasan dan membantu Anda memecahkan masalah dan mengotomatiskan tugas berbasis data, seperti memprediksi penggunaan kapasitas dan penskalaan otomatis, mengidentifikasi dan menganalisis masalah performa aplikasi, dan mendeteksi perilaku anomali di komputer virtual, kontainer, dan sumber daya lainnya. Fitur-fitur ini meningkatkan pemantauan dan operasi TI Anda, tanpa memerlukan pengetahuan pembelajaran mesin dan investasi lebih lanjut.

Azure Monitor juga menyediakan alat yang memungkinkan Anda membuat alur pembelajaran mesin Anda sendiri untuk memperkenalkan kemampuan analisis dan respons baru dan bertindak berdasarkan data di Log Azure Monitor.

Artikel ini menjelaskan kemampuan AIOps bawaan Azure Monitor dan menjelaskan bagaimana Anda dapat membuat dan menjalankan model pembelajaran mesin yang disesuaikan dan membangun alur pembelajaran mesin otomatis pada data di Azure Monitor Logs.

Azure Monitor AIOps bawaan dan kemampuan pembelajaran mesin

Skenario pemantauan Kemampuan Deskripsi
Pemantauan log Log Analytics Workspace Insights Menyediakan tampilan terpadu ruang kerja Analitik Log Anda dan menggunakan pembelajaran mesin untuk mendeteksi anomali penyerapan.
Bahasa Kueri Kusto (KQL) analisis rangkaian waktu dan fungsi pembelajaran mesin Alat yang mudah digunakan untuk menghasilkan data rangkaian waktu, mendeteksi anomali, prakiraan, dan melakukan analisis akar penyebab secara langsung di Log Azure Monitor tanpa memerlukan pengetahuan mendalam tentang ilmu data dan bahasa pemrograman.
Microsoft Copilot untuk Azure Membantu Anda menggunakan Analitik Log untuk menganalisis data dan memecahkan masalah. Menghasilkan contoh kueri KQL berdasarkan perintah, seperti "Apakah ada kesalahan dalam log kontainer?".
Pemantauan performa aplikasi Tampilan Cerdas Peta Aplikasi Peta dependensi antara layanan dan membantu Anda menemukan penyempitan performa atau hotspot kegagalan di semua komponen aplikasi terdistribusi Anda.
Deteksi cerdas Menganalisis telemetri yang dikirim aplikasi Anda ke Application Insights, pemberitahuan tentang masalah performa dan anomali kegagalan, dan mengidentifikasi potensi akar penyebab masalah performa aplikasi.
Peringatan Metrik Ambang batas dinamis untuk pemberitahuan metrik Mempelajari pola metrik, secara otomatis mengatur ambang pemberitahuan berdasarkan data historis, dan mengidentifikasi anomali yang mungkin menunjukkan masalah layanan.
Kumpulan skala komputer virtual Skala otomatis prediktif Memperkirakan persyaratan CPU keseluruhan dari set skala komputer virtual, berdasarkan pola penggunaan CPU historis, dan secara otomatis diskalakan untuk memenuhi kebutuhan ini.

Pembelajaran mesin di Log Azure Monitor

Gunakan fungsi, operator, dan plug-in analisis rangkaian waktu bawaan Bahasa Kueri Kusto untuk mendapatkan wawasan tentang kesehatan layanan, penggunaan, kapasitas, dan tren lainnya, dan untuk menghasilkan prakiraan dan mendeteksi anomali di Log Azure Monitor.

Untuk mendapatkan fleksibilitas yang lebih besar dan memperluas kemampuan Anda untuk menganalisis dan bertindak berdasarkan data, Anda juga dapat menerapkan alur pembelajaran mesin Anda sendiri pada data di Log Azure Monitor.

Tabel ini membandingkan keuntungan dan batasan penggunaan kemampuan pembelajaran mesin bawaan KQL dan membuat alur pembelajaran mesin Anda sendiri, dan tautan ke tutorial yang menunjukkan bagaimana Anda dapat menerapkan masing-masing:

Kemampuan pembelajaran mesin KQL bawaan Membuat alur pembelajaran mesin Anda sendiri
Skenario ✅ Deteksi anomali, akar penyebab, dan analisis rangkaian waktu
✅ Deteksi anomali, akar penyebab, dan analisis rangkaian waktu
✅Analisis tingkat lanjut dan skenario AIOP
Kelebihan 🔹Membuat Anda memulai dengan sangat cepat.
🔹Tidak diperlukan pengetahuan ilmu data dan keterampilan pemrograman.
🔹 Penghematan performa dan biaya yang optimal.		 🔹Mendukung skala yang lebih besar.
🔹Mengaktifkan skenario lanjutan yang lebih kompleks.
🔹Fleksibilitas dalam memilih pustaka, model, parameter.
Batas layanan dan volume data portal Azure atau batas kueri log API Kueri bergantung pada apakah Anda bekerja di portal atau menggunakan API, misalnya, dari buku catatan. 🔹Kueri batas kueri log API jika Anda mengkueri data di Log Azure Monitor sebagai bagian dari alur pembelajaran mesin Anda. Jika tidak, tidak ada batas layanan Azure.
🔹Dapat mendukung volume data yang lebih besar.
Integrasi Tidak diperlukan. Jalankan menggunakan Analitik Log di portal Azure atau dari Jupyter Notebook terintegrasi. Memerlukan integrasi dengan alat, seperti Jupyter Notebook. Biasanya, Anda juga akan berintegrasi dengan layanan Azure lainnya, seperti Azure Synapse Analytics.
Performa Performa optimal, menggunakan platform Azure Data Explorer, berjalan dalam skala tinggi secara terdistribusi. Memperkenalkan sejumlah kecil latensi saat mengkueri atau mengekspor data, tergantung pada cara Anda menerapkan alur pembelajaran mesin Anda.
Jenis model Model regresi linier dan model lain yang didukung oleh fungsi rangkaian waktu KQL dengan serangkaian parameter yang dapat dikonfigurasi. Model pembelajaran mesin yang sepenuhnya dapat disesuaikan atau metode deteksi anomali.
Biaya Tidak ada biaya tambahan. Bergantung pada cara Anda menerapkan alur pembelajaran mesin, Anda mungkin dikenakan biaya untuk mengekspor data, menyerap data dengan skor ke log Azure Monitor, dan penggunaan layanan Azure lainnya.
Tutorial Mendeteksi dan menganalisis anomali menggunakan kemampuan pembelajaran mesin KQL di Azure Monitor Menganalisis data di Log Azure Monitor menggunakan buku catatan

Membuat alur pembelajaran mesin Anda sendiri pada data di Log Azure Monitor

Bangun alur pembelajaran mesin Anda sendiri pada data di Log Azure Monitor untuk memperkenalkan kemampuan AIOps baru dan mendukung skenario tingkat lanjut, seperti:

  • Berburu serangan keamanan dengan model yang lebih canggih daripada yang dilakukan oleh KQL.
  • Mendeteksi masalah performa dan memecahkan masalah kesalahan dalam aplikasi web.
  • Membuat alur multi-langkah, menjalankan kode di setiap langkah berdasarkan hasil langkah sebelumnya.
  • Mengotomatiskan analisis data Log Azure Monitor dan memberikan wawasan tentang beberapa area, termasuk kesehatan infrastruktur dan perilaku pelanggan.
  • Menghubungkan data di Log Azure Monitor dengan data dari sumber lain.

Ada dua pendekatan untuk membuat data di Log Azure Monitor tersedia untuk alur pembelajaran mesin Anda:

Tabel ini membandingkan keuntungan dan batasan pendekatan untuk mengambil data untuk alur pembelajaran mesin Anda:

Mengkueri data di Log Azure Monitor Mengekspor data
Kelebihan 🔹Membuat Anda mulai dengan cepat.
🔹Hanya membutuhkan ilmu data dasar dan keterampilan pemrograman.
🔹Latensi minimal dan penghematan biaya.		 🔹Mendukung skala yang lebih besar.
🔹Tidak ada batasan kueri.
Data yang diekspor? Tidak Ya
Batas layanan Batas kueri log API kueri dan pembatasan kueri pengguna. Anda dapat mengatasi batas API Kueri ke, tingkat tertentu, dengan membagi kueri yang lebih besar menjadi gugus. Tidak ada dari Azure Monitor.
Volume data Analisis beberapa GB data, atau beberapa juta rekaman per jam. Mendukung data dalam volume besar.
Pustaka pembelajaran mesin Untuk himpunan data berukuran kecil hingga menengah, Anda biasanya akan menggunakan pustaka pembelajaran mesin simpul tunggal, seperti Scikit Learn. Untuk himpunan data besar, Anda biasanya akan menggunakan pustaka pembelajaran mesin big data, seperti SynapseML.
Latensi Minimal. Memperkenalkan sejumlah kecil latensi dalam mengekspor data.
Biaya Tidak ada biaya tambahan di Azure Monitor.
Biaya Azure Synapse Analytics, Azure Pembelajaran Mesin, atau layanan lainnya, jika digunakan.		 Biaya ekspor data dan penyimpanan eksternal.
Biaya Azure Synapse Analytics, Azure Pembelajaran Mesin, atau layanan lainnya, jika digunakan.

Tip

Untuk mendapatkan manfaat dari yang terbaik dari kedua pendekatan implementasi, buat alur hibrid. Pendekatan hibrid umum adalah mengekspor data untuk pelatihan model, yang melibatkan data dalam volume besar, dan untuk menggunakan data kueri dalam pendekatan Log Azure Monitor untuk menjelajahi data dan menilai data baru untuk mengurangi latensi dan biaya.

Menerapkan langkah-langkah siklus hidup pembelajaran mesin di Log Azure Monitor

Menyiapkan alur pembelajaran mesin biasanya melibatkan semua atau beberapa langkah yang dijelaskan di bawah ini.

Ada berbagai pustaka pembelajaran mesin Azure dan sumber terbuka yang dapat Anda gunakan untuk mengimplementasikan alur pembelajaran mesin Anda, termasuk Scikit Learn, PyTorch, Tensorflow, Spark MLlib, dan SynapseML.

Tabel ini menjelaskan setiap langkah dan memberikan panduan tingkat tinggi dan beberapa contoh cara menerapkan langkah-langkah ini berdasarkan pendekatan implementasi yang dijelaskan dalam Membuat alur pembelajaran mesin Anda sendiri pada data di Log Azure Monitor:

Langkah Deskripsi Mengkueri data di Log Azure Monitor Mengekspor data
Menjelajahi data Periksa dan pahami data yang telah Anda kumpulkan. Cara paling sederhana untuk menjelajahi data Anda adalah menggunakan Log Analytics, yang menyediakan serangkaian alat yang kaya untuk menjelajahi dan memvisualisasikan data di portal Azure. Anda juga dapat menganalisis data di Log Azure Monitor menggunakan buku catatan. Untuk menganalisis log di luar Azure Monitor, ekspor data dari ruang kerja Analitik Log Anda dan siapkan lingkungan dalam layanan yang Anda pilih.
Untuk contoh cara menjelajahi log di luar Azure Monitor, lihat Menganalisis data yang diekspor dari Analitik Log menggunakan Synapse.
Membangun dan melatih model pembelajaran mesin Pelatihan model adalah proses berulang. Peneliti atau ilmuwan data mengembangkan model dengan mengambil dan membersihkan data pelatihan, fitur insinyur, mencoba berbagai model dan parameter penyetelan, dan mengulangi siklus ini sampai model akurat dan kuat. Untuk himpunan data berukuran kecil hingga menengah, Anda biasanya menggunakan pustaka pembelajaran mesin simpul tunggal, seperti Scikit Learn.
Untuk contoh cara melatih model pembelajaran mesin pada data di Log Azure Monitor menggunakan pustaka Scikit Learn, lihat contoh buku catatan ini : Mendeteksi anomali di Log Azure Monitor menggunakan teknik pembelajaran mesin.		 Untuk himpunan data besar, Anda biasanya menggunakan pustaka pembelajaran mesin big data, seperti SynapseML.
Menyebarkan dan menilai model Penilaian adalah proses penerapan model pembelajaran mesin pada data baru untuk mendapatkan prediksi. Penilaian biasanya perlu dilakukan dalam skala besar dengan latensi minimal. Untuk mengkueri data baru di Log Azure Monitor, gunakan pustaka klien Azure Monitor Query.
Untuk contoh cara menilai data menggunakan alat sumber terbuka, lihat contoh buku catatan ini: Mendeteksi anomali di Log Azure Monitor menggunakan teknik pembelajaran mesin.
Jalankan alur Anda sesuai jadwal Mengotomatiskan alur Anda untuk melatang kembali model Anda secara teratur pada data saat ini. Jadwalkan alur pembelajaran mesin Anda dengan Azure Synapse Analytics atau Azure Pembelajaran Mesin. Lihat contoh di kolom Data kueri di Log Azure Monitor.

Menyerap hasil yang dinilai ke ruang kerja Analitik Log memungkinkan Anda menggunakan data untuk mendapatkan wawasan tingkat lanjut, dan untuk membuat pemberitahuan dan dasbor. Untuk contoh cara menyerap hasil yang dinilai menggunakan pustaka klien Penyerapan Azure Monitor, lihat Menyerap anomali ke dalam tabel kustom di ruang kerja Analitik Log Anda.

Langkah berikutnya

Pelajari lebih lanjut tentang: