Tutorial: Menganalisis laporan inventori blob

Dengan memahami bagaimana blob dan kontainer Anda disimpan, diatur, dan digunakan dalam produksi, Anda dapat mengoptimalkan tradeoff antara biaya dan performa dengan lebih baik.

Tutorial ini menunjukkan kepada Anda cara menghasilkan dan memvisualisasikan statistik seperti pertumbuhan data dari waktu ke waktu, data yang ditambahkan dari waktu ke waktu, jumlah file yang dimodifikasi, ukuran rekam jepret blob, pola akses di setiap tingkatan, dan bagaimana data didistribusikan baik saat ini maupun dari waktu ke waktu (Misalnya: data di seluruh tingkatan, jenis file, dalam kontainer, dan jenis blob).

Dalam tutorial ini, Anda akan mempelajari cara:

• Membuat laporan inventarit blob
• Menyiapkan ruang kerja Synapse
• Menyiapkan Synapse Studio
• Membuat data analitik di Synapse Studio
• Memvisualisasikan hasil di Power BI

Prasyarat

• Langganan Azure - buat akun secara gratis

• Akun penyimpanan Azure - buat akun penyimpanan

  Pastikan identitas pengguna Anda memiliki peran Kontributor Data Blob Penyimpanan yang ditetapkan untuk identitas tersebut.

Membuat laporan inventaris

Aktifkan laporan inventori blob untuk akun penyimpanan Anda. Lihat Mengaktifkan laporan inventori blob Azure Storage.

Anda mungkin harus menunggu hingga 24 jam setelah mengaktifkan laporan inventori agar laporan pertama Anda dibuat.

Menyiapkan ruang kerja Synapse

1. Membuat ruang kerja Azure Synapse. Lihat Membuat ruang kerja Azure Synapse.

   Catatan

   Sebagai bagian dari pembuatan ruang kerja, Anda akan membuat akun penyimpanan yang memiliki namespace hierarkis. Azure Synapse menyimpan tabel Spark dan log aplikasi ke akun ini. Azure Synapse mengacu pada akun ini sebagai akun penyimpanan utama. Untuk menghindari kebingungan, artikel ini menggunakan istilah akun laporan inventaris untuk merujuk ke akun yang berisi laporan inventaris.

2. Di ruang kerja Synapse, tetapkan peran Kontributor ke identitas pengguna Anda. Lihat Azure RBAC: Peran pemilik untuk ruang kerja.

3. Berikan izin ruang kerja Synapse untuk mengakses laporan inventori di akun penyimpanan Anda dengan menavigasi ke akun laporan inventori Anda, lalu tetapkan peran Kontributor Data Blob Penyimpanan ke identitas terkelola sistem ruang kerja. Lihat Menetapkan peran Azure dengan menggunakan portal Microsoft Azure.

4. Navigasi ke akun penyimpanan utama dan tetapkan peran Kontributor Blob Storage ke identitas pengguna Anda.

Menyiapkan Synapse Studio

1. Buka ruang kerja Synapse Anda di Synapse Studio. Lihat Membuka Synapse Studio.

2. Di Synapse Studio, Pastikan identitas Anda diberi peran Administrator Synapse. Lihat RBAC Synapse: Peran Administrator Synapse untuk ruang kerja.

3. Buat kumpulan Apache Spark. Lihat Membuat kumpulan Apache Spark tanpa server.

Menyiapkan dan menjalankan contoh buku catatan

Di bagian ini, Anda akan menghasilkan data statistik yang akan Anda visualisasikan dalam laporan. Untuk menyederhanakan tutorial ini, bagian ini menggunakan file konfigurasi sampel dan contoh buku catatan PySpark. Notebook berisi kumpulan kueri yang dijalankan di Azure Synapse Studio.

Mengubah dan mengunggah file konfigurasi sampel

1. Unduh file BlobInventoryStorageAccountConfiguration.json .

2. Perbarui tempat penampung berikut dari file tersebut:

   • Atur storageAccountName ke nama akun laporan inventori Anda.

   • Atur destinationContainer ke nama kontainer yang menyimpan laporan inventori.

   • Atur blobInventoryRuleName ke nama aturan laporan inventaris yang telah menghasilkan hasil yang ingin Anda analisis.

   • Atur accessKey ke kunci akun akun laporan inventori.

3. Unggah file ini ke kontainer di akun penyimpanan utama yang Anda tentukan saat membuat ruang kerja Synapse.

Mengimpor contoh buku catatan PySpark

1. Unduh buku catatan sampel ReportAnalysis.ipynb .

   Catatan

   Pastikan untuk menyimpan file ini dengan .ipynb ekstensi.

2. Buka ruang kerja Synapse Anda di Synapse Studio. Lihat Membuka Synapse Studio.

3. Di Synapse Studio, pilih tab Kembangkan .

4. Pilih tanda plus (+) untuk menambahkan item.

5. Pilih Impor, telusuri ke file sampel yang Anda unduh, pilih file tersebut, dan pilih Buka.

   Kotak dialog Properti muncul.

6. Dalam kotak dialog Properti , pilih tautan Konfigurasi sesi .

   

   Kotak dialog Konfigurasi sesi terbuka.

7. Di daftar drop-down Lampirkan ke kotak dialog Konfigurasi sesi , pilih kumpulan Spark yang Anda buat sebelumnya di artikel ini. Kemudian, pilih tombol Terapkan .

Mengubah buku catatan Python

1. Di sel pertama notebook Python, atur nilai storage_account variabel ke nama akun penyimpanan utama.

2. Perbarui nilai container_name variabel ke nama kontainer di akun yang Anda tentukan saat membuat ruang kerja Synapse.

3. Klik tombol Terbitkan.

Menjalankan buku catatan PySpark

1. Di buku catatan PySpark, pilih Jalankan semua.

   Ini akan memakan waktu beberapa menit untuk memulai sesi Spark dan beberapa menit lagi untuk memproses laporan inventori. Eksekusi pertama bisa memakan waktu cukup lama jika ada banyak laporan inventaris untuk diproses. Eksekusi berikutnya hanya akan memproses laporan inventaris baru yang dibuat sejak eksekusi terakhir.

   Catatan

   Jika Anda membuat perubahan apa pun pada buku catatan akan berjalan, pastikan untuk menerbitkan perubahan tersebut dengan menggunakan tombol Terbitkan .

2. Verifikasi bahwa buku catatan berhasil dijalankan dengan memilih tab Data .

   Database bernama reportdata akan muncul di tab Ruang Kerja pada panel Data . Jika database ini tidak muncul, maka Anda mungkin harus menyegarkan halaman web.

   

   Database berisi sekumpulan tabel. Setiap tabel berisi informasi yang diperoleh dengan menjalankan kueri dari buku catatan PySpark.

3. Untuk memeriksa konten tabel, perluas folder Tabel database reportdata . Lalu, klik kanan tabel, pilih Pilih skrip SQL, lalu pilih Pilih 100 baris TERATAS.

   

4. Anda bisa mengubah kueri sesuai kebutuhan lalu pilih Jalankan untuk menampilkan hasilnya.

   

Visualisasikan data

1. Unduh file laporan sampel ReportAnalysis.pbit .

2. Buka Power BI Desktop. Untuk panduan penginstalan, lihat Mendapatkan Power BI Desktop.

3. Di Power BI, pilih File, Buka laporan, lalu Telusuri laporan.

4. Dalam kotak dialog Buka , ubah jenis file menjadi file templat Power BI (*.pbit).

   

5. Telusuri ke lokasi file ReportAnalysis.pbit yang Anda unduh, lalu pilih Buka.

   Kotak dialog muncul yang meminta Anda untuk memberikan nama ruang kerja Synapse dan nama dasar data.

6. Dalam kotak dialog, atur bidang synapse_workspace_name ke nama ruang kerja dan atur bidang database_name ke reportdata. Kemudian, pilih tombol Muat .

   

   Laporan muncul yang menyediakan visualisasi data yang diambil oleh buku catatan. Gambar berikut ini memperlihatkan tipe bagan dan grafik yang muncul dalam laporan ini.

   

   

   

Langkah berikutnya

• Siapkan alur Azure Synapse untuk terus menjalankan buku catatan Anda secara berkala. Dengan begitu Anda dapat memproses laporan inventori baru saat dibuat. Setelah eksekusi awal, masing-masing eksekusi berikutnya akan menganalisis data bertahap lalu memperbarui tabel dengan hasil analisis tersebut. Untuk panduan, lihat Mengintegrasikan dengan alur.

• Pelajari tentang cara menganalisis masing-masing kontainer di akun penyimpanan Anda. Lihat artikel ini:

  Menghitung jumlah dan ukuran total blob per kontainer menggunakan inventaris Azure Storage

  Tutorial: Menghitung statistik kontainer dengan menggunakan Databricks

• Pelajari tentang cara untuk mengoptimalkan biaya Anda berdasarkan analisis blob dan kontainer Anda. Lihat artikel ini:

  Merencanakan dan mengelola biaya untuk Azure Blob Storage

  Memperkirakan biaya pengarsipan data

  Mengoptimalkan biaya dengan mengelola siklus hidup data secara otomatis