Ekspor telemetri dari Application Insights

Ingin mempertahankan telemetri Anda lebih lama dari periode retensi standar? Atau memprosesnya dengan cara khusus? Ekspor Berkelanjutan sangat ideal untuk ini. Peristiwa yang Anda lihat di portal Application Insights dapat diekspor ke penyimpanan di Microsoft Azure dalam format JSON. Dari sana, Anda dapat mengunduh data dan menulis kode apa pun yang Anda butuhkan untuk memprosesnya.

Penting

Ekspor berkelanjutan tidak digunakan lagi. Migrasi ke sumber daya Application Insights berbasis ruang kerja untuk menggunakan pengaturan diagnostik untuk mengekspor telemetri.

Catatan

Ekspor berkelanjutan hanya didukung untuk sumber daya Application Insights klasik. Sumber daya Application Insights berbasis ruang kerja harus menggunakan pengaturan diagnostik.

Sebelum Anda menyiapkan ekspor berkelanjutan, terdapat beberapa alternatif yang mungkin ingin Anda pertimbangkan:

Setelah Ekspor Berkelanjutan menyalin data Anda ke penyimpanan (tempat data tersebut dapat tersimpan selama yang Anda inginkan), data tersebut masih tersedia di Application Insights selama periode retensi biasa.

Wilayah yang Didukung

Ekspor Berkelanjutan didukung di wilayah berikut:

  • Asia Tenggara
  • Kanada Tengah
  • India Tengah
  • Eropa Utara
  • UK Selatan
  • Australia Timur
  • Jepang Timur
  • Korea Tengah
  • Prancis Tengah
  • Asia Timur
  • AS Barat
  • US Tengah
  • AS Timur 2
  • AS Tengah Bagian Selatan
  • US Barat 2
  • Afrika Selatan Utara
  • AS Tengah Bagian Utara
  • Brasil Selatan
  • Swiss Utara
  • Australia Tenggara
  • UK Barat
  • Jerman Barat Tengah
  • Swiss Barat
  • Australia Tengah 2
  • UAE Tengah
  • Brasil Tenggara
  • Australia Tengah
  • Arab Saudi Utara
  • Norwegia Timur
  • Jepang Barat

Catatan

Ekspor Berkelanjutan akan terus bekerja untuk Aplikasi di AS Timur dan Eropa Barat jika ekspor dikonfigurasi sebelum 23 Februari 2021. Aturan Ekspor Berkelanjutan baru tidak dapat dikonfigurasi pada aplikasi apa pun di AS Timur atau Eropa Barat, terlepas dari waktu aplikasi dibuat.

Konfigurasi penyimpanan lanjutan Ekspor Berkelanjutan

Ekspor Berkelanjutan tidak mendukung fitur/konfigurasi penyimpanan Azure berikut:

Membuat Ekspor Berkelanjutan

Catatan

Aplikasi tidak dapat mengekspor lebih dari 3 TB data per hari. Jika mengekspor lebih dari 3TB per hari, ekspor akan dinonaktifkan. Untuk mengekspor tanpa batas, gunakan ekspor berbasis pengaturan diagnostik.

  1. Pada sumber daya Application Insights untuk aplikasi Anda pada konfigurasi di sebelah kiri, buka Ekspor Berkelanjutan dan pilih Tambahkan:

  2. Pilih jenis data telemetri yang ingin Anda ekspor.

  3. Buat atau pilih akun penyimpanan Azure tempat Anda ingin menyimpan data. Untuk informasi lebih lanjut tentang opsi harga penyimpanan, kunjungi halaman harga resmi.

    Klik Tambahkan, Tujuan Ekspor, Akun penyimpanan, kemudian buat penyimpanan baru atau pilih penyimpanan yang sudah ada.

    Peringatan

    Secara default, lokasi penyimpanan akan diatur ke wilayah geografis yang sama dengan sumber daya Application Insights Anda. Jika Anda menyimpan di wilayah lain, Anda dapat dikenakan biaya transfer.

  4. Buat atau pilih kontainer di penyimpanan.

Catatan

Setelah Anda membuat ekspor, data yang baru dimasukkan akan mulai mengalir ke penyimpanan Azure Blob. Ekspor berkelanjutan hanya akan mengirimkan telemetri baru yang dibuat/dimasukkan setelah ekspor berkelanjutan diaktifkan. Data apa pun yang ada sebelum mengaktifkan ekspor berkelanjutan tidak akan diekspor, dan tidak ada cara yang didukung untuk mengekspor data yang dibuat sebelumnya secara retroaktif menggunakan ekspor berkelanjutan.

Penundaan selama sekitar satu jam dapat terjadi sebelum data muncul di penyimpanan.

Setelah ekspor pertama selesai, Anda akan menemukan struktur yang mirip dengan yang berikut ini di kontainer penyimpanan Azure Blob Anda: (Hal ini akan bervariasi, tergantung pada data yang Anda kumpulkan.)

Nama Deskripsi
Ketersediaan Melaporkan uji web ketersediaan.
Kejadian Peristiwa kustom yang dihasilkan oleh TrackEvent().
Pengecualian Melaporkan pengecualian di server dan di browser.
Pesan Dikirim oleh TrackTrace, dan oleh adapter pengelogan.
Metrik Dihasilkan oleh panggilan API metrik.
PerformanceCounters Penghitung Kinerja yang dikumpulkan oleh Application Insights.
Permintaan Dikirim oleh TrackRequest. Modul standar menggunakan ini untuk melaporkan waktu respons server, yang diukur di server.

Mengedit ekspor berkelanjutan

Klik ekspor berkelanjutan dan pilih akun penyimpanan untuk diedit.

Menghentikan ekspor berkelanjutan

Untuk menghentikan ekspor, klik Nonaktifkan. Ketika Anda mengklik Aktifkan kembali, ekspor akan dimulai ulang dengan data baru. Anda tidak akan mendapatkan data yang tiba di portal ketika ekspor dinonaktifkan.

Untuk menghentikan ekspor secara permanen, hapus ekspor tersebut. Menghentikan permanen ekspor tidak menghapus data Anda dari penyimpanan.

Tidak bisa menambahkan atau mengubah ekspor?

  • Untuk menambah atau mengubah ekspor, Anda memerlukan hak akses Pemilik, Kontributor, atau Kontributor Application Insights. Pelajari tentang peran.

Peristiwa apa yang Anda dapatkan?

Data yang diekspor adalah telemetri mentah yang kami terima dari aplikasi Anda, namun kami menambahkan data lokasi, yang kami hitung dari alamat IP klien.

Data yang telah dibuang melalui pengambilan sampel tidak termasuk dalam data yang diekspor.

Metrik terhitung lainnya tidak disertakan. Contohnya, kami tidak mengekspor utilisasi CPU rata-rata, tetapi kami mengekspor telemetri tempat penghitungan rata-rata.

Data tersebut juga mencakup hasil dari setiap uji web ketersediaan yang telah Anda siapkan.

Catatan

Pengambilan sampel. Jika aplikasi Anda mengirimkan banyak data, fitur pengambilan sampel dapat beroperasi dan hanya mengirim sebagian kecil dari telemetri yang dihasilkan. Pelajari lebih lanjut tentang pengambilan sampel.

Memeriksa data

Anda dapat memeriksa penyimpanan secara langsung di portal. Klik beranda di menu paling kiri, pada bagian atas bertuliskan "Layanan Azure", pilih Akun penyimpanan, pilih nama akun penyimpanan, pada halaman ringkasan pilih Blob pada layanan, dan terakhir, pilih nama kontainer.

Untuk memeriksa penyimpanan Azure di Visual Studio, buka Tampilan, Cloud Explorer. (Jika Anda tidak memiliki perintah menu tersebut, Anda perlu menginstal Azure SDK: Buka dialog Proyek Baru, perluas Visual C#/Cloud dan pilih Dapatkan Microsoft Azure SDK untuk .NET.)

Ketika membuka penyimpanan blob, Anda akan melihat kontainer dengan kumpulan file blob. URI setiap file berasal dari nama sumber daya Application Insights Anda, kunci instrumentasinya, jenis telemetri/tanggal/waktu. (Nama sumber daya sepenuhnya huruf kecil, dan kunci instrumentasi menghilangkan tanda hubung.)

Memeriksa penyimpanan blob dengan alat yang sesuai

Tanggal dan waktu adalah UTC dan waktu ketika telemetri disimpan di toko - bukan waktu ketika telemetri dihasilkan. Jadi, jika Anda menulis kode untuk mengunduh data, telemetri dapat bergerak secara linear melalui data.

Berikut bentuk jalur tersebut:

$"{applicationName}_{instrumentationKey}/{type}/{blobDeliveryTimeUtc:yyyy-MM-dd}/{ blobDeliveryTimeUtc:HH}/{blobId}_{blobCreationTimeUtc:yyyyMMdd_HHmmss}.blob"

Saat

  • blobCreationTimeUtc adalah waktu ketika blob dibuat di penyimpanan penahapan internal
  • blobDeliveryTimeUtc adalah waktu ketika blob disalin ke penyimpanan tujuan ekspor

Format data

  • Setiap blob adalah file teks berisi beberapa baris yang dipisahkan dengan '\n'. File teks berisi telemetri yang diproses selama periode waktu sekitar setengah menit.

  • Setiap baris mewakili titik data telemetri seperti permintaan atau tampilan halaman.

  • Setiap baris adalah dokumen JSON yang tidak diformat. Jika Anda ingin melihat baris, buka gumpalan di Visual Studio dan pilih EditAdvancedFormatFile:

    Menampilkan telemetri dengan alat yang sesuai

Durasi waktu berada dalam format tick, di mana 10.000 tick = 1 ms. Contohnya, nilai-nilai ini menunjukkan waktu 1 ms untuk mengirimkan permintaan dari browser, 3 ms untuk menerimanya, dan 1,8 ms untuk memproses halaman di browser:

"sendRequest": {"value": 10000.0},
"receiveRequest": {"value": 30000.0},
"clientProcess": {"value": 17970000.0}

Referensi model data terperinci untuk jenis dan nilai properti.

Memproses data

Dalam skala kecil, Anda dapat menuliskan beberapa kode untuk memisahkan data Anda, membacanya ke spreadsheet, dan sebagainya. Contohnya:

private IEnumerable<T> DeserializeMany<T>(string folderName)
{
   var files = Directory.EnumerateFiles(folderName, "*.blob", SearchOption.AllDirectories);
   foreach (var file in files)
   {
      using (var fileReader = File.OpenText(file))
      {
         string fileContent = fileReader.ReadToEnd();
         IEnumerable<string> entities = fileContent.Split('\n').Where(s => !string.IsNullOrWhiteSpace(s));
         foreach (var entity in entities)
         {
            yield return JsonConvert.DeserializeObject<T>(entity);
         }
      }
   }
}

Untuk sampel kode yang lebih besar, lihat menggunakan peran pekerja.

Menghapus data lama Anda

Anda bertanggung jawab dalam mengelola kapasitas penyimpanan Anda dan menghapus data lama jika perlu.

Jika Anda meregenerasi kunci penyimpanan Anda...

Jika Anda mengubah kunci penyimpanan, ekspor berkelanjutan akan berhenti berfungsi. Anda akan melihat pemberitahuan di akun Azure.

Buka tab Ekspor Berkelanjutan dan edit ekspor Anda. Edit Tujuan Ekspor, tetapi biarkan penyimpanan yang sama dipilih. Klik OK untuk mengonfirmasi.

Ekspor berkelanjutan akan dimulai ulang.

Mengekspor sampel

Pada skala yang lebih besar, pertimbangkan HDInsight - kluster Hadoop di cloud. HDInsight menyediakan berbagai teknologi untuk mengelola dan menganalisis big data, dan Anda dapat menggunakannya untuk memroses data yang telah diekspor dari Application Insights.

Q & A

  • Tapi saya hanya ingin mengunduh bagan satu kali saja.

    Ya, Anda dapat melakukan itu. Pada bagian atas tab, klik Ekspor Data.

  • Saya menyiapkan ekspor, tetapi tidak ada data di penyimpanan saya.

    Apakah Application Insights menerima telemetri apa pun dari aplikasi Anda sejak Anda menyiapkan ekspor? Anda hanya akan menerima data baru.

  • Saya mencoba untuk menyiapkan ekspor, tetapi akses ditolak

    Jika akun tersebut dimiliki oleh organisasi Anda, Anda harus menjadi anggota grup pemilik atau kontributor.

  • Apakah saya dapat mengekspor langsung ke penyimpanan lokal saya?

    Tidak, maaf. Mesin ekspor kami saat ini hanya berfungsi dengan penyimpanan Azure.

  • Apakah ada batasan jumlah data yang Anda masukkan ke dalam toko saya?

    Nomor. Kami akan terus mendorong data hingga Anda menghapus ekspor. Kami akan berhenti jika kami mencapai batas luar penyimpanan blob, tetapi batas tersebut cukup besar. Tergantung pada Anda untuk mengontrol seberapa banyak penyimpanan yang Anda gunakan.

  • Berapa banyak blob yang seharusnya saya lihat di penyimpanan?

    • Untuk setiap jenis data yang Anda pilih untuk diekspor, blob baru dibuat setiap menitnya (jika data tersedia).
    • Selain itu, untuk aplikasi dengan lalu lintas tinggi, unit partisi tambahan dialokasikan. Dalam hal ini, setiap unit membuat blob setiap menitnya.
  • Saya meregenerasi kunci ke penyimpanan saya atau mengubah nama kontainer, dan sekarang ekspor tidak berfungsi.

    Edit ekspor dan buka tab tujuan ekspor. Biarkan penyimpanan yang sama dipilih seperti sebelumnya, dan klik OK untuk mengonfirmasi. Ekspor akan dimulai ulang. Jika perubahan tersebut terjadi dalam beberapa hari terakhir, Anda tidak akan kehilangan data.

  • Apakah saya dapat menjeda ekspor?

    Ya. Klik Nonaktifkan.

Sampel kode

Ekspor berbasis pengaturan diagnostik

Ekspor berbasis pengaturan diagnostik menggunakan skema yang berbeda dengan ekspor berkelanjutan. Ekspor berbasis pengaturan diagnostik juga mendukung fitur yang tidak disukai ekspor berkelanjutan:

  • Akun penyimpanan Azure dengan vnet, firewall, dan tautan pribadi.
  • Ekspor ke hub peristiwa.

Untuk memigrasikan ke ekspor berbasis pengaturan diagnostik:

  1. Nonaktifkan ekspor berkelanjutan saat ini.
  2. Migrasikan aplikasi menjadi berbasis ruang kerja.
  3. Aktifkan ekspor pengaturan diagnostik. Pilih Pengaturan diagnostik tambahkan pengaturan diagnostik dari dalam sumber daya Insights Aplikasi Anda.