Öğretici: Blob envanter raporlarını analiz etme

Bloblarınızın ve kapsayıcılarınızın üretimde nasıl depolandığını, düzenlenip kullanıldığını anlayarak maliyet ve performans arasındaki dengeleri daha iyi iyileştirebilirsiniz.

Bu öğreticide zaman içinde veri büyümesi, zaman içinde eklenen veriler, değiştirilen dosya sayısı, blob anlık görüntü boyutları, her katman üzerindeki erişim desenleri ve verilerin hem şu anda hem de zaman içinde nasıl dağıtıldığı (örneğin: katmanlar, dosya türleri, kapsayıcılar ve blob türleri arasında veriler) gibi istatistiklerin nasıl oluşturulup görselleştirildiği gösterilir.

Bu öğreticide şunların nasıl yapıldığını öğreneceksiniz:

• Blob envanter raporu oluşturma
• Synapse çalışma alanı ayarlama
• Synapse Studio ayarlama
• Synapse Studio'da analiz verileri oluşturma
• Sonuçları Power BI’da görselleştirme

Önkoşullar

• Azure aboneliği - ücretsiz hesap oluşturma

• Azure depolama hesabı - depolama hesabı oluşturma

  Kullanıcı kimliğinize Depolama Blobu Veri Katkıda Bulunanı rolünün atandığından emin olun.

Stok raporu oluşturma

Depolama hesabınız için blob envanter raporlarını etkinleştirin. Bkz. Azure Depolama blob envanter raporlarını etkinleştirme.

İlk raporunuzun oluşturulması için envanter raporlarını etkinleştirdikten sonra 24 saate kadar beklemeniz gerekebilir.

Synapse çalışma alanı ayarlama

1. Azure Synapse çalışma alanı oluşturun. Bkz. Azure Synapse çalışma alanı oluşturma.

   Not

   Çalışma alanını oluşturmanın bir parçası olarak hiyerarşik ad alanına sahip bir depolama hesabı oluşturacaksınız. Azure Synapse Spark tablolarını ve uygulama günlüklerini bu hesaba depolar. Azure Synapse bu hesabı birincil depolama hesabı olarak ifade eder. Karışıklığı önlemek için bu makalede stok raporu hesabı terimi, stok raporlarını içeren hesaba başvurmak için kullanılır.

2. Synapse çalışma alanında Kullanıcı kimliğinize Katkıda Bulunan rolünü atayın. Bkz . Azure RBAC: Çalışma alanı için sahip rolü.

3. Envanter raporu hesabınıza gidip depolama alanınızın sistem tarafından yönetilen kimliğine Depolama Blob Verileri Katkıda Bulunanı rolünü atayarak Synapse çalışma alanına depolama hesabınızdaki envanter raporlarına erişme izni verin. Bkz. Azure portalı kullanarak Azure rolleri atama.

4. Birincil depolama hesabına gidin ve Blob Depolama Katkıda Bulunanı rolünü kullanıcı kimliğinize atayın.

Synapse Studio ayarlama

1. Synapse çalışma alanınızı Synapse Studio açın. Bkz. Synapse Studio açma.

2. Synapse Studio'da, kimliğinize Synapse Yöneticisi rolünün atandığından emin olun. Çalışma alanı için bkz. Synapse RBAC: Synapse Yöneticisi rolü.

3. Apache Spark havuzu oluşturun. Bkz. Sunucusuz Apache Spark havuzu oluşturma.

Örnek not defterini ayarlama ve çalıştırma

Bu bölümde, bir raporda görselleştirdiğiniz istatistiksel veriler oluşturacaksınız. Bu öğreticiyi basitleştirmek için bu bölümde örnek bir yapılandırma dosyası ve örnek bir PySpark not defteri kullanılır. Not defteri, Azure Synapse Studio'da yürütülen bir sorgu koleksiyonu içerir.

Örnek yapılandırma dosyasını değiştirme ve karşıya yükleme

1. BlobInventoryStorageAccountConfiguration.json dosyasını indirin.

2. Bu dosyanın aşağıdaki yer tutucularını güncelleştirin:

   • Stok raporu hesabınızın adına ayarlayın storageAccountName .

   • Envanter raporlarını barındıran kapsayıcının adına ayarlayın destinationContainer .

   • Analiz etmek istediğiniz sonuçları oluşturan stok raporu kuralının adına ayarlayın blobInventoryRuleName .

   • Stok raporu hesabının hesap anahtarı olarak ayarlayın accessKey .

3. Bu dosyayı Synapse çalışma alanını oluştururken belirttiğiniz birincil depolama hesabınızdaki kapsayıcıya yükleyin.

Örnek PySpark not defterini içeri aktarma

1. ReportAnalysis.ipynb örnek not defterini indirin.

   Not

   Bu dosyayı uzantıyla kaydettiğinizden .ipynb emin olun.

2. Synapse çalışma alanınızı Synapse Studio açın. Bkz. Synapse Studio açma.

3. Synapse Studio'da Geliştir sekmesini seçin.

4. Öğe eklemek için artı işaretini (+) seçin.

5. İçeri Aktar'ı seçin, indirdiğiniz örnek dosyaya göz atın, bu dosyayı seçin ve Aç'ı seçin.

   Özellikler iletişim kutusu görüntülenir.

6. Özellikler iletişim kutusunda Oturumu yapılandır bağlantısını seçin.

   

   Oturumu yapılandır iletişim kutusu açılır.

7. Oturumu yapılandır iletişim kutusunun Ekle açılan listesinde, bu makalenin önceki bölümlerinde oluşturduğunuz Spark havuzunu seçin. Ardından Uygula düğmesini seçin.

Python not defterini değiştirme

1. Python not defterinin ilk hücresinde değişkenin storage_account değerini birincil depolama hesabının adına ayarlayın.

2. değişkeninin container_name değerini Synapse çalışma alanını oluştururken belirttiğiniz hesaptaki kapsayıcının adıyla güncelleştirin.

3. Yayımla düğmesini seçin.

PySpark not defterini çalıştırma

1. PySpark not defterinde Tümünü çalıştır'ı seçin.

   Spark oturumunun başlatılması birkaç dakika, envanter raporlarının işlenmesi ise birkaç dakika daha sürer. İşlenmek üzere çok sayıda envanter raporu varsa ilk çalıştırma biraz zaman alabilir. Sonraki çalıştırmalar yalnızca son çalıştırmadan sonra oluşturulan yeni envanter raporlarını işler.

   Not

   Not defterinde değişiklik yaparsanız not defteri çalışır durumda olur, Yayımla düğmesini kullanarak bu değişiklikleri yayımladığınızdan emin olun.

2. Veri sekmesini seçerek not defterinin başarıyla çalıştığını doğrulayın.

   Veri bölmesinin Çalışma Alanı sekmesinde reportdata adlı bir veritabanı görünmelidir. Bu veritabanı görünmüyorsa web sayfasını yenilemeniz gerekebilir.

   

   Veritabanı bir tablo kümesi içerir. Her tablo, PySpark not defterinden sorguları çalıştırarak elde edilen bilgileri içerir.

3. Tablonun içeriğini incelemek için reportdata veritabanının Tablolar klasörünü genişletin. Ardından bir tabloya sağ tıklayın, SQL betiğini seç'i ve ardından İLK 100 satırı seç'i seçin.

   

4. Sorguyu gerektiği gibi değiştirebilir ve ardından çalıştır'ı seçerek sonuçları görüntüleyebilirsiniz.

   

Verileri görselleştirme

1. ReportAnalysis.pbit örnek rapor dosyasını indirin.

2. Power BI Desktop'ı açın. Yükleme yönergeleri için bkz. Power BI Desktop alma.

3. Power BI'da Dosya, Rapor aç'ı ve ardından Raporlara göz at'ı seçin.

4. Aç iletişim kutusunda, dosya türünü Power BI şablon dosyaları (*.pbit) olarak değiştirin.

   

5. İndirdiğiniz ReportAnalysis.pbit dosyasının konumuna gidin ve Aç'ı seçin.

   Synapse çalışma alanının adını ve veri tabanı adını girmenizi isteyen bir iletişim kutusu görüntülenir.

6. İletişim kutusunda , synapse_workspace_name alanını çalışma alanı adına ve database_name alanını olarak reportdataayarlayın. Ardından Yükle düğmesini seçin.

   

   Not defteri tarafından alınan verilerin görselleştirmelerini sağlayan bir rapor görüntülenir. Aşağıdaki görüntüler, bu raporda görünen grafik ve grafik türlerini gösterir.

   

   

   

Sonraki adımlar

• Not defterinizi düzenli aralıklarla çalıştırmaya devam etmek için bir Azure Synapse işlem hattı ayarlayın. Böylece yeni envanter raporlarını oluşturuldukları anda işleyebilirsiniz. İlk çalıştırmadan sonra, sonraki çalıştırmaların her biri artımlı verileri analiz eder ve ardından tabloları bu analizin sonuçlarıyla güncelleştirir. Yönergeler için bkz. İşlem hatları ile tümleştirme.

• Depolama hesabınızdaki kapsayıcıları tek tek analiz etmenin yolları hakkında bilgi edinin. Şu makalelere bakın:

  Azure Depolama envanterini kullanarak kapsayıcıya göre blob sayısını ve toplam boyutu hesaplayın

  Öğretici: Databricks kullanarak kapsayıcı istatistiklerini hesaplama

• Bloblarınızın ve kapsayıcılarınızın analizine göre maliyetlerinizi iyileştirmenin yolları hakkında bilgi edinin. Şu makalelere bakın:

  Azure Blob Depolama maliyetlerini planlama ve yönetme

  Verileri arşivleme maliyetini tahmin etme

  Veri yaşam döngüsünü otomatik olarak yöneterek maliyetleri iyileştirme