Memantau Azure Batch

  • Artikel

Artikel ini menjelaskan:

  • Jenis data pemantauan yang dapat Anda kumpulkan untuk layanan ini.
  • Cara menganalisis data tersebut.

Catatan

Jika Anda sudah terbiasa dengan layanan ini dan/atau Azure Monitor dan hanya ingin tahu cara menganalisis data pemantauan, lihat bagian Analisis di dekat akhir artikel ini.

Ketika Anda memiliki aplikasi penting dan proses bisnis yang mengandalkan sumber daya Azure, Anda perlu memantau dan mendapatkan pemberitahuan untuk sistem Anda. Layanan Azure Monitor mengumpulkan dan menggabungkan metrik dan log dari setiap komponen sistem Anda. Azure Monitor memberi Anda tampilan ketersediaan, performa, dan ketahanan, serta memberi tahu Anda tentang masalah. Anda dapat menggunakan pustaka portal Azure, PowerShell, Azure CLI, REST API, atau klien untuk menyiapkan dan melihat data pemantauan.

Jenis Sumber Daya

Azure menggunakan konsep jenis sumber daya dan ID untuk mengidentifikasi semuanya dalam langganan. Azure Monitor juga mengatur data pemantauan inti ke dalam metrik dan log berdasarkan jenis sumber daya, juga disebut namespace layanan. Metrik dan log yang berbeda tersedia untuk berbagai jenis sumber daya. Layanan Anda mungkin dikaitkan dengan lebih dari satu jenis sumber daya.

Jenis sumber daya juga merupakan bagian dari ID sumber daya untuk setiap sumber daya yang berjalan di Azure. Misalnya, satu jenis sumber daya untuk komputer virtual adalah Microsoft.Compute/virtualMachines. Untuk daftar layanan dan jenis sumber daya terkait, lihat Penyedia sumber daya.

Untuk informasi selengkapnya tentang jenis sumber daya untuk Batch, lihat Referensi data pemantauan Batch.

Penyimpanan data

Untuk Azure Monitor:

  • Data metrik disimpan dalam database metrik Azure Monitor.
  • Data log disimpan di penyimpanan log Azure Monitor. Log Analytics adalah alat di portal Azure yang dapat mengkueri penyimpanan ini.
  • Log aktivitas Azure adalah penyimpanan terpisah dengan antarmukanya sendiri di portal Azure.

Anda dapat secara opsional merutekan metrik dan data log aktivitas ke penyimpanan log Azure Monitor. Anda kemudian dapat menggunakan Analitik Log untuk mengkueri data dan menghubungkannya dengan data log lainnya.

Banyak layanan dapat menggunakan pengaturan diagnostik untuk mengirim metrik dan data log ke lokasi penyimpanan lain di luar Azure Monitor. Contohnya termasuk Azure Storage, sistem mitra yang dihosting, dan sistem mitra non-Azure, dengan menggunakan Azure Event Hubs.

Untuk informasi terperinci tentang cara Azure Monitor menyimpan data, lihat Platform data Azure Monitor.

Mengakses log diagnostik dalam penyimpanan

Jika Anda mengarsipkan log diagnostik Batch di akun penyimpanan, kontainer penyimpanan dibuat di akun penyimpanan segera setelah aktivitas terkait terjadi. Blob dibuat sesuai dengan pola penamaan berikut:

insights-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/
RESOURCEGROUPS/{resource group name}/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/{Batch account name}/y={four-digit numeric year}/
m={two-digit numeric month}/d={two-digit numeric day}/
h={two-digit 24-hour clock hour}/m=00/PT1H.json

Contohnya:

insights-metrics-pt1m/resourceId=/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/
RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/MYBATCHACCOUNT/y=2018/m=03/d=05/h=22/m=00/PT1H.json

Setiap file blob PT1H.json berisi peristiwa berformat JSON yang terjadi dalam jam yang ditentukan dalam URL blob (misalnya, h=12). Selama jam sekarang, peristiwa ditambahkan ke file PT1H.json saat terjadi. Nilai menit (m=00) selalu 00, karena aktivitas log diagnostik dibagi menjadi blob individu per jam. Semua waktu berada dalam UTC.

Contoh berikut menunjukkan PoolResizeCompleteEvent entri dalam file log PT1H.json . Entri ini mencakup informasi tentang jumlah simpul khusus dan prioritas rendah saat ini dan target serta waktu mulai dan akhir operasi.

{ "Tenant": "65298bc2729a4c93b11c00ad7e660501", "time": "2019-08-22T20:59:13.5698778Z", "resourceId": "/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/BATCHACCOUNTS/MYBATCHACCOUNT/", "category": "ServiceLog", "operationName": "PoolResizeCompleteEvent", "operationVersion": "2017-06-01", "properties": {"id":"MYPOOLID","nodeDeallocationOption":"Requeue","currentDedicatedNodes":10,"targetDedicatedNodes":100,"currentLowPriorityNodes":0,"targetLowPriorityNodes":0,"enableAutoScale":false,"isAutoPool":false,"startTime":"2019-08-22 20:50:59.522","endTime":"2019-08-22 20:59:12.489","resultCode":"Success","resultMessage":"The operation succeeded"}}

Untuk mengakses log di akun penyimpanan Anda secara terprogram, gunakan API Penyimpanan.

Metrik platform Azure Monitor

Azure Monitor menyediakan metrik platform untuk sebagian besar layanan. Metrik ini adalah:

  • Didefinisikan secara individual untuk setiap namespace layanan.
  • Disimpan dalam database metrik rangkaian waktu Azure Monitor.
  • Ringan dan mampu mendukung peringatan mendekati real-time.
  • Digunakan untuk melacak performa sumber daya dari waktu ke waktu.

Koleksi: Azure Monitor mengumpulkan metrik platform secara otomatis. Tidak diperlukan konfigurasi.

Perutean: Anda juga biasanya dapat merutekan metrik platform ke Log Azure Monitor /Log Analytics sehingga Anda dapat mengkuerinya dengan data log lainnya. Untuk informasi selengkapnya, lihat pengaturan diagnostik Metrik. Untuk cara mengonfigurasi pengaturan diagnostik untuk layanan, lihat Membuat pengaturan diagnostik di Azure Monitor.

Untuk daftar semua metrik yang mungkin dikumpulkan untuk semua sumber daya di Azure Monitor, lihat Metrik yang didukung di Azure Monitor.

Contoh metrik dalam akun Batch adalah Aktivitas Membuat Kumpulan, Jumlah Simpul Prioritas Rendah, dan Aktivitas Penyelesaian Tugas. Metrik ini dapat membantu mengidentifikasi tren dan dapat digunakan untuk analisis data.

Catatan

Metrik yang dipancarkan dalam 3 menit terakhir mungkin masih menggabungkan, sehingga nilai mungkin kurang dilaporkan selama jangka waktu ini. Pengiriman metrik tidak dijamin dan mungkin dipengaruhi oleh pengiriman, kehilangan data, atau duplikasi yang tidak berurutan.

Untuk daftar lengkap metrik yang tersedia untuk Batch, lihat Referensi data pemantauan Batch.

Log sumber daya Azure Monitor

Log sumber daya memberikan wawasan tentang operasi yang dilakukan oleh sumber daya Azure. Log dihasilkan secara otomatis, tetapi Anda harus merutekannya ke log Azure Monitor untuk menyimpan atau mengkuerinya. Log diatur dalam kategori. Namespace tertentu mungkin memiliki beberapa kategori log sumber daya.

Koleksi: Log sumber daya tidak dikumpulkan dan disimpan hingga Anda membuat pengaturan diagnostik dan merutekan log ke satu atau beberapa lokasi. Saat membuat pengaturan diagnostik, Anda menentukan kategori log yang akan dikumpulkan. Ada beberapa cara untuk membuat dan memelihara pengaturan diagnostik, termasuk portal Azure, terprogram, dan meskipun Azure Policy.

Perutean: Default yang disarankan adalah merutekan log sumber daya ke Log Azure Monitor sehingga Anda dapat mengkuerinya dengan data log lainnya. Lokasi lain seperti Azure Storage, Azure Event Hubs, dan mitra pemantauan Microsoft tertentu juga tersedia. Untuk informasi selengkapnya, lihat Log sumber daya Azure dan Tujuan log sumber daya.

Untuk informasi terperinci tentang mengumpulkan, menyimpan, dan merutekan log sumber daya, lihat Pengaturan diagnostik di Azure Monitor.

Untuk daftar semua kategori log sumber daya yang tersedia di Azure Monitor, lihat Log sumber daya yang didukung di Azure Monitor.

Semua log sumber daya di Azure Monitor memiliki bidang header yang sama, diikuti oleh bidang khusus layanan. Skema umum diuraikan dalam skema log sumber daya Azure Monitor.

Untuk kategori log sumber daya yang tersedia, tabel Log Analytics terkait, dan skema log untuk Batch, lihat Referensi data pemantauan Batch.

Anda harus secara eksplisit mengaktifkan pengaturan diagnostik untuk setiap akun Batch yang ingin Anda pantau.

Untuk layanan Batch, Anda dapat mengumpulkan log berikut:

Cuplikan layar berikut menunjukkan contoh pengaturan diagnostik yang mengirim allLogs dan AllMetrics ke ruang kerja Analitik Log.

Cuplikan layar halaman Pengaturan diagnostik yang memperlihatkan contoh.

Saat membuat kumpulan Azure Batch, Anda dapat menginstal salah satu ekstensi terkait pemantauan berikut pada simpul komputasi untuk mengumpulkan dan menganalisis data:

Untuk perbandingan ekstensi dan agen yang berbeda dan data yang mereka kumpulkan, lihat Membandingkan agen.

Log aktivitas Azure

Log aktivitas berisi peristiwa tingkat langganan yang melacak operasi untuk setiap sumber daya Azure seperti yang terlihat dari luar sumber daya tersebut; misalnya, membuat sumber daya baru atau memulai komputer virtual.

Koleksi: Peristiwa log aktivitas secara otomatis dihasilkan dan dikumpulkan di penyimpanan terpisah untuk dilihat di portal Azure.

Perutean: Anda dapat mengirim data log aktivitas ke Log Azure Monitor sehingga Anda dapat menganalisisnya bersama data log lainnya. Lokasi lain seperti Azure Storage, Azure Event Hubs, dan mitra pemantauan Microsoft tertentu juga tersedia. Untuk informasi selengkapnya tentang cara merutekan log aktivitas, lihat Gambaran Umum log aktivitas Azure.

Khususnya untuk akun Batch, log aktivitas mengumpulkan peristiwa yang terkait dengan pembuatan dan penghapusan akun dan manajemen kunci.

Menganalisis data pemantauan

Ada banyak alat untuk menganalisis data pemantauan.

Alat Azure Monitor

Azure Monitor mendukung alat dasar berikut:

  • Penjelajah metrik, alat di portal Azure yang memungkinkan Anda melihat dan menganalisis metrik untuk sumber daya Azure. Untuk informasi selengkapnya, lihat Menganalisis metrik dengan penjelajah metrik Azure Monitor.

  • Log Analytics, alat di portal Azure yang memungkinkan Anda mengkueri dan menganalisis data log dengan menggunakan bahasa kueri Kusto (KQL). Untuk informasi selengkapnya, lihat Mulai menggunakan kueri Log di Azure Monitor.

  • Log aktivitas, yang memiliki antarmuka pengguna di portal Azure untuk melihat dan pencarian dasar. Untuk melakukan analisis yang lebih mendalam, Anda harus merutekan data ke log Azure Monitor dan menjalankan kueri yang lebih kompleks di Analitik Log.

Alat yang memungkinkan visualisasi yang lebih kompleks meliputi:

  • Dasbor yang memungkinkan Anda menggabungkan berbagai jenis data ke dalam satu panel di portal Azure.
  • Buku kerja, laporan yang dapat disesuaikan yang bisa Anda buat di portal Azure. Buku kerja dapat menyertakan kueri teks, metrik, dan log.
  • Grafana, alat platform terbuka yang unggul di dasbor operasional. Anda dapat menggunakan Grafana untuk membuat dasbor yang menyertakan data dari beberapa sumber selain Azure Monitor.
  • Power BI, layanan analitik bisnis yang menyediakan visualisasi interaktif di berbagai sumber data. Anda dapat mengonfigurasi Power BI untuk mengimpor data log secara otomatis dari Azure Monitor untuk memanfaatkan visualisasi ini.

Saat Anda menganalisis metrik Batch berbasis hitungan seperti Jumlah Inti Khusus atau Jumlah Simpul Prioritas Rendah, gunakan agregasi Rata-rata . Untuk metrik berbasis peristiwa seperti Ubah Ukuran Kumpulan Kejadian Lengkap, gunakan agregasi Hitungan . Hindari menggunakan agregasi Jumlah, yang menambahkan nilai semua titik data yang diterima selama periode bagan.

Alat ekspor Azure Monitor

Anda bisa mendapatkan data dari Azure Monitor ke alat lain dengan menggunakan metode berikut:

  • Metrik: Gunakan REST API untuk metrik untuk mengekstrak data metrik dari database metrik Azure Monitor. API mendukung ekspresi filter untuk menyempurnakan data yang diambil. Untuk informasi selengkapnya, lihat Referensi REST API Azure Monitor.

  • Log: Gunakan REST API atau pustaka klien terkait.

  • Opsi lain adalah ekspor data ruang kerja.

Untuk mulai menggunakan REST API untuk Azure Monitor, lihat Panduan REST API pemantauan Azure.

Kueri Kusto

Anda dapat menganalisis data pemantauan di penyimpanan Log Azure Monitor / Analitik Log dengan menggunakan bahasa kueri Kusto (KQL).

Penting

Saat Anda memilih Log dari menu layanan di portal, Analitik Log terbuka dengan cakupan kueri yang diatur ke layanan saat ini. Cakupan ini berarti bahwa kueri log hanya akan menyertakan data dari jenis sumber daya tersebut. Jika Anda ingin menjalankan kueri yang menyertakan data dari layanan Azure lainnya, pilih Log dari menu Azure Monitor . Lihat Cakupan kueri log dan rentang waktu di Azure Monitor Log Analytics untuk rinciannya.

Untuk daftar kueri umum untuk layanan apa pun, lihat antarmuka kueri Analitik Log.

Contoh kueri

Berikut adalah beberapa contoh kueri log untuk Batch:

Pengurangan ukuran kumpulan: Mencantumkan waktu perubahan ukuran menurut kumpulan dan kode hasil (berhasil atau gagal):

AzureDiagnostics
| where OperationName=="PoolResizeCompleteEvent"
| summarize operationTimes=make_list(startTime_s) by poolName=id_s, resultCode=resultCode_s

Durasi tugas: Memberikan waktu tugas yang berlalu dalam hitungan detik, dari tugas mulai hingga tugas selesai.

AzureDiagnostics
| where OperationName=="TaskCompleteEvent"
| extend taskId=id_s, ElapsedTime=datetime_diff('second', executionInfo_endTime_t, executionInfo_startTime_t) // For longer running tasks, consider changing 'second' to 'minute' or 'hour'
| summarize taskList=make_list(taskId) by ElapsedTime

Tugas yang gagal per pekerjaan: Mencantumkan tugas yang gagal menurut pekerjaan induk.

AzureDiagnostics
| where OperationName=="TaskFailEvent"
| summarize failedTaskList=make_list(id_s) by jobId=jobId_s, ResourceId

Peringatan

Pemberitahuan Azure Monitor secara proaktif memberi tahu Anda saat kondisi tertentu ditemukan di data pemantauan Anda. Pemberitahuan memungkinkan Anda mengidentifikasi dan mengatasi masalah di sistem Anda sebelum pelanggan Anda memperhatikannya. Untuk informasi selengkapnya, lihat Pemberitahuan Azure Monitor.

Ada banyak sumber pemberitahuan umum untuk sumber daya Azure. Untuk contoh pemberitahuan umum untuk sumber daya Azure, lihat Contoh kueri pemberitahuan log. Situs Azure Monitor Baseline Alerts (AMBA) menyediakan metode semi-otomatis untuk menerapkan pemberitahuan, dasbor, dan panduan metrik platform penting. Situs ini berlaku untuk subset layanan Azure yang terus berkembang, termasuk semua layanan yang merupakan bagian dari Zona Pendaratan Azure (ALZ).

Skema pemberitahuan umum menstandarkan konsumsi pemberitahuan pemberitahuan Azure Monitor. Untuk informasi selengkapnya, lihat Skema pemberitahuan umum.

Jenis peringatan

Anda dapat memperingatkan metrik atau sumber data log apa pun di platform data Azure Monitor. Ada banyak jenis pemberitahuan yang berbeda tergantung pada layanan yang Anda pantau dan data pemantauan yang Anda kumpulkan. Berbagai jenis pemberitahuan memiliki berbagai manfaat dan kelemahan. Untuk informasi selengkapnya, lihat Memilih jenis pemberitahuan pemantauan yang tepat.

Daftar berikut ini menjelaskan jenis pemberitahuan Azure Monitor yang bisa Anda buat:

  • Pemberitahuan metrik mengevaluasi metrik sumber daya secara berkala. Metrik dapat berupa metrik platform, metrik kustom, log dari Azure Monitor yang dikonversi ke metrik, atau metrik Application Insights. Pemberitahuan metrik juga dapat menerapkan beberapa kondisi dan ambang batas dinamis.
  • Pemberitahuan log memungkinkan pengguna menggunakan kueri Analitik Log untuk mengevaluasi log sumber daya pada frekuensi yang telah ditentukan sebelumnya.
  • Pemberitahuan log aktivitas memicu ketika peristiwa log aktivitas baru terjadi yang cocok dengan kondisi yang ditentukan. Pemberitahuan Resource Health dan pemberitahuan Service Health adalah pemberitahuan log aktivitas yang melaporkan layanan dan kesehatan sumber daya Anda.

Beberapa layanan Azure juga mendukung pemberitahuan deteksi pintar, pemberitahuan Prometheus, atau aturan pemberitahuan yang direkomendasikan.

Untuk beberapa layanan, Anda dapat memantau dalam skala besar dengan menerapkan aturan pemberitahuan metrik yang sama ke beberapa sumber daya dengan jenis yang sama yang ada di wilayah Azure yang sama. Pemberitahuan individual dikirim untuk setiap sumber daya yang dipantau. Untuk layanan dan cloud Azure yang didukung, lihat Memantau beberapa sumber daya dengan satu aturan pemberitahuan.

Catatan

Jika Anda membuat atau menjalankan aplikasi yang berjalan di layanan Anda, wawasan aplikasi Azure Monitor mungkin menawarkan lebih banyak jenis pemberitahuan.

Aturan pemberitahuan batch

Karena pengiriman metrik dapat tunduk pada inkonsistensi seperti pengiriman di luar urutan, kehilangan data, atau duplikasi, Anda harus menghindari pemberitahuan yang memicu pada satu titik data. Sebagai gantinya, gunakan ambang batas untuk memperhitungkan inkonsistensi ini selama jangka waktu tertentu.

Misalnya, Anda mungkin ingin mengonfigurasi pemberitahuan metrik saat jumlah inti prioritas rendah Anda jatuh ke tingkat tertentu. Anda kemudian dapat menggunakan pemberitahuan ini untuk menyesuaikan komposisi kumpulan Anda. Untuk hasil terbaik, tetapkan periode 10 menit atau lebih di mana pemberitahuan memicu jika jumlah inti prioritas rendah rata-rata turun lebih rendah dari nilai ambang untuk seluruh periode. Periode waktu ini memungkinkan metrik untuk dikumpulkan sehingga Anda mendapatkan hasil yang lebih akurat.

Tabel berikut mencantumkan beberapa pemicu aturan pemberitahuan untuk Batch. Aturan pemberitahuan ini hanyalah contoh. Anda dapat mengatur pemberitahuan untuk metrik, entri log, atau entri log aktivitas apa pun yang tercantum dalam referensi data pemantauan Batch.

Jenis pemberitahuan Kondisi Deskripsi
Metric Jumlah simpul yang tidak dapat digunakan Setiap kali Jumlah Simpul yang Tidak Dapat Digunakan lebih besar dari 0
Metric Task Fail Events Setiap kali total Peristiwa Gagal Tugas lebih besar dari ambang batas dinamis

Rekomendasi Advisor

Untuk beberapa layanan, jika kondisi penting atau perubahan segera terjadi selama operasi sumber daya, pemberitahuan ditampilkan di halaman Gambaran Umum layanan di portal. Anda dapat menemukan informasi selengkapnya dan perbaikan yang direkomendasikan untuk pemberitahuan di rekomendasi Advisor di bawah Pemantauan di menu sebelah kiri. Selama operasi normal, tidak ada rekomendasi advisor yang ditampilkan.

Untuk informasi selengkapnya tentang Azure Advisor, lihat Gambaran umum Azure Advisor.

Opsi pemantauan Batch lainnya

Batch Explorer adalah alat klien gratis, kaya fitur, dan mandiri untuk membantu membuat, memperbaiki kesalahan, dan memantau aplikasi Azure Batch. Anda dapat menggunakan Azure Batch Insights dengan Batch Explorer untuk mendapatkan statistik sistem untuk simpul Batch Anda, seperti penghitung kinerja komputer virtual (VM).

Dalam aplikasi Batch, Anda dapat menggunakan pustaka Batch .NET untuk memantau atau mengkueri status sumber daya Anda termasuk pekerjaan, tugas, simpul, dan kumpulan. Contohnya:

Anda dapat menggunakan API Batch untuk membuat kueri daftar untuk pekerjaan Batch, tugas, simpul komputasi, dan sumber daya lainnya. Untuk informasi selengkapnya tentang cara memfilter kueri daftar, lihat Membuat kueri untuk mencantumkan sumber daya Batch secara efisien.

Atau, alih-alih kueri daftar yang berpotensi memakan waktu yang mengembalikan informasi terperinci tentang kumpulan tugas atau simpul yang besar, Anda dapat menggunakan operasi Dapatkan Jumlah Tugas dan Jumlah Simpul Kumpulan Daftar untuk mendapatkan hitungan tugas Batch dan simpul komputasi. Untuk informasi selengkapnya, lihat Memantau solusi Batch dengan menghitung tugas dan simpul berdasarkan status.

Anda dapat mengintegrasikan Application Insights dengan aplikasi Azure Batch Anda untuk melengkapi kode Anda dengan metrik dan pelacakan kustom. Untuk panduan terperinci tentang cara menambahkan Application Insights ke solusi Batch .NET, kode aplikasi instrumen, memantau aplikasi di portal Azure, dan membangun dasbor kustom, lihat Memantau dan men-debug aplikasi Azure Batch .NET dengan Application Insights dan sampel kode yang menyertainya.

Konten terkait