Event Grid bildirimlerine abone olarak Azure Veri Gezgini blob alma
Azure Veri Gezgini, günlük ve telemetri verileri için hızlı ve üst düzeyde ölçeklenebilir veri keşfetme hizmetidir. Azure Veri Gezgini, Event Hubs, IoT Hub 'larından ve BLOB kapsayıcılarına yazılan bloblardan alma (veri yükleme) sağlar.
Bu makalede, Event Grid veri bağlantısı kullanarak depolama hesabınızdan blob 'ları Azure Veri Gezgini 'a nasıl alabileceğinizi öğreneceksiniz. Bir Azure Event Grid aboneliğini ayarlayan Event Grid veri bağlantısı oluşturacaksınız. Event Grid aboneliği, Azure Olay Hub 'ı aracılığıyla depolama hesabınızdan olayları Azure Veri Gezgini 'a yönlendirir. Daha sonra, sistem genelinde veri akışına bir örnek görürsünüz.
Event Grid Azure Veri Gezgini 'a geri ödeme hakkında genel bilgi için bkz. Bağlan Event Grid. Azure portal el ile kaynak oluşturmak için, bkz. Event Grid alımı Için el ile kaynak oluşturma.
Önkoşullar
- Azure aboneliği. Ücretsiz bir Azure hesabıoluşturun.
- Bir küme ve veritabanıoluşturun.
- Depolama hesabıoluşturun.
- Event Grid bildirim aboneliği
BlobStorage,,StorageV2veyaBlobStorageiçin Azure Depolama hesaplarında ayarlanabilir.
Azure Veri Gezgini'nde hedef tablo oluşturma
Azure Veri Gezgini, Event Hubs veri göndereceği bir tablo oluşturun. Kümede ve ön koşullarda hazırlanan veritabanında tablo oluşturun.
Azure portalda kümenizin altında Sorgu'yu seçin.
Aşağıdaki komutu pencereye kopyalayın ve alınan verileri alacak tabloyu (TestTable) oluşturmak için Çalıştır ' ı seçin.
.create table TestTable (TimeStamp: datetime, Value: string, Source:string)
Aşağıdaki komutu pencereye kopyalayın ve gelen JSON verilerini tablonun sütun adlarıyla ve veri türleriyle (TestTable) eşlemek için Çalıştır ' ı seçin.
.create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp","path":"$.TimeStamp"},{"column":"Value","path":"$.Value"},{"column":"Source","path":"$.Source"}]'
Event Grid veri bağlantısı oluşturma
Depolama hesabını şimdi Azure Veri Gezgini bağlayın, böylece depolama alanına akan verilerin test tablosuna akışı yapılır. Bu bağlantı, depolama hesabının kendisi altında veya Azure Veri Gezgini altındaki Azure portal Azure portal oluşturulabilir.
Azure portal depolama hesabına gidin. Sol taraftaki menüden Olaylar ' ı seçin.
Ana bölmede Azure Veri Gezgini sekmesini seçin.
Veri bağlantısı bölmesi temel kavramlar sekmesi seçili olarak açılır.
Veri bağlantısı-temel bilgiler sekmesi
Formu aşağıdaki bilgilerle doldurun:
Ayar Önerilen değer Alan açıklaması Veri bağlantısı adı test-Grid-Connection Azure Veri Gezgini içinde oluşturmak istediğiniz bağlantının adı. Depolama hesabı gridteststorage1 Bu sihirbaza eriştiğiniz depolama hesabı. Paneldeki. Olay türü BLOB oluşturuldu veya BLOB yeniden adlandırıldı Alımı tetikleyen olay türü. BLOB yeniden adlandırıldı yalnızca ADLSv2 depolama için desteklenir. Desteklenen türler şunlardır: Microsoft. Depolama. BlobCreated veya Microsoft. Depolama. Blobyeniden adlandırıldı. Kaynak oluşturma Otomatik Azure Veri Gezgini 'nin bir Event Grid aboneliği, bir olay hub 'ı ad alanı ve sizin için bir olay hub 'ı oluşturmasını isteyip istemediğinizi tanımlayın. Kaynakları el ile oluşturmak için bkz. Event Grid alma Için el ile kaynak oluşturma İleri alma Özellikleri ' niseçin.
Veri bağlantısı-alma özellikleri sekmesi
Formu aşağıdaki bilgilerle doldurun. Tablo ve eşleme adları büyük/küçük harfe duyarlıdır:
Ayar Önerilen değer Alan açıklaması Abonelik Azure Veri Gezgini aboneliğiniz. Küme Adı TestCluster Veri almak istediğiniz kümenin adı. Veritabanı Adı TestDatabase Testcluster'da oluşturduğunuz hedef veritabanı. Tablo adı TestTable TestDatabase'te oluşturduğunuz hedef tablo. Veri biçimi JSON Desteklenen biçimler şunlardır avro, CSV, JSON, çok SATıRLı JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW ve W3CLOG. Desteklenen sıkıştırma seçenekleri ZIP ve gzip. Eşleme TestMapping TestDatabase içinde oluşturduğunuz ve gelen JSON verilerini TestTable tablosunun sütun adları ve veri türleriyle eşleyen eşleme. Gelişmiş ayarlar Verilerinizde üst bilgiler vardır Üst bilgileri yoksayar. * SV tür dosyaları için desteklenir. Not
Tüm varsayılan yönlendirme ayarlarınıbelirtmeniz gerekmez. Kısmi ayarlar da kabul edilir.
Ileri 'yi seçin : gözden geçir + oluştur
Veri bağlantısı-Inceleme + Oluştur sekmesi
Sizin için otomatik olarak oluşturulan kaynakları gözden geçirin ve Oluştur' u seçin.
Dağıtım
Dağıtım tamamlanana kadar bekleyin. Dağıtımınız başarısız olduysa hata nedeni hakkında daha fazla bilgi edinmek için başarısız olan aşamanın yanındaki işlem ayrıntıları ' nı seçin. Kaynakları yeniden dağıtmayı denemek için yeniden Dağıt ' ı seçin. Dağıtımdan önce parametreleri değiştirebilirsiniz.
Örnek veri oluşturma
Artık Azure Veri Gezgini ve depolama hesabı bağlı olduğundan, örnek veri oluşturabilirsiniz.
depolama kapsayıcısına blob Upload
azure Depolama kaynaklarıyla etkileşimde bulunmak için birkaç temel azure clı komutu veren küçük bir kabuk betiği ile çalışacağız. Bu betik aşağıdaki eylemleri yapar:
- Depolama hesabınızda yeni bir kapsayıcı oluşturur.
- Var olan bir dosyayı (blob olarak) bu kapsayıcıya yükler.
- Kapsayıcıdaki Blobları listeler.
Betiği doğrudan portalda yürütmek için Azure Cloud Shell kullanabilirsiniz.
Verileri bir dosyaya kaydedin ve bu komut dosyasıyla karşıya yükleyin:
{"TimeStamp": "1987-11-16 12:00","Value": "Hello World","Source": "TestSource"}
#!/bin/bash
### A simple Azure Storage example script
export AZURE_STORAGE_ACCOUNT=<storage_account_name>
export AZURE_STORAGE_KEY=<storage_account_key>
export container_name=<container_name>
export blob_name=<blob_name>
export file_to_upload=<file_to_upload>
export destination_file=<destination_file>
echo "Creating the container..."
az storage container create --name $container_name
echo "Uploading the file..."
az storage blob upload --container-name $container_name --file $file_to_upload --name $blob_name --metadata "rawSizeBytes=1024"
echo "Listing the blobs..."
az storage blob list --container-name $container_name --output table
echo "Done"
Not
En iyi giriş performansını elde etmek için, alma işlemi için gönderilen sıkıştırılmış Blobların sıkıştırılmamış boyutunun bildirilmesi gerekir. Event Grid bildirimleri yalnızca temel ayrıntıları içerdiğinden, boyut bilgilerinin açık olarak bildirilmesi gerekir. Sıkıştırılmamış boyut bilgileri, rawSizeBytes BLOB meta verilerindeki özelliği, rawSizeBytes veri boyutu bayt cinsinden ayarlanarak belirtilebilir.
Blobu yeniden adlandır
Verileri ADLSv2 Storage 'dan içe aktarıyorsanız ve veri bağlantısı için olay türü olarak yeniden adlandırılmış blobu belirlediyseniz, blob alma tetikleyicisi blob yeniden adlandırmasıdır. Bir blobu yeniden adlandırmak için Azure portal blob 'a gidin, bloba sağ tıklayıp Yeniden Adlandır' ı seçin:
Alma özellikleri
Blob meta verileri aracılığıyla blob alma alma özelliklerini belirtebilirsiniz.
Not
Azure Veri Gezgini, Blobların gönderisini silmez. Blobları üç ila beş gün boyunca tutun. Blob silmeyi yönetmek için Azure Blob depolama yaşam döngüsünü kullanın.
Veri akışını inceleme
Not
Azure Veri Gezgini veri alımı için veri alımını iyileştirmek üzere tasarlanmış bir toplama (toplu işleme) ilkesi vardır. Varsayılan olarak, ilke 5 dakika olarak yapılandırılır. Gerekirse ilkeyi daha sonra değiştirebilirsiniz. Bu makalede birkaç dakikalık bir gecikme süresi bekleyebileceksiniz.
Olay Azure portal altında uygulama çalışırken etkinlik artışını görüyorsunuz.
Veritabanına ulaşan ileti sayısını denetlemek için test veritabanınızda aşağıdaki sorguyu çalıştırın.
TestTable | countİletilerin içeriğini görmek için test veritabanınıza aşağıdaki sorguyu çalıştırın.
TestTableSonuç kümesi aşağıdaki görüntüye benzin:
Kaynakları temizleme
Olay kılavuzlarınızı yeniden kullanmayı planlasanız, ücret ödememek için sizin için otomatik olarak Event Grid aboneliğini, Olay Hub'ı ad alanını ve Olay Hub'ını temizleyin.
Bu Azure portal, sol menüye gidin ve Tüm kaynaklar'ı seçin.
Olay Hub'ı Ad Alanınızı arayın ve Sil'i seçerek silin:
Kaynakları sil formunda, Olay Hub'ı Ad Alanı ve Olay Hub'ı kaynaklarını silmek için silme işlemini onaylayın.
Depolama hesabınıza gidin. Sol menüden Olaylar'ı seçin:
Grafiğin altında, Aboneliğinizi seçin Event Grid sil'i seçin ve sil'i seçin:
Veri bağlantınızı Event Grid için kümenize Azure Veri Gezgini gidin. Sol menüden Veritabanları'ı seçin.
TestDatabase veritabanınızı seçin:
Sol menüde Veri alımı'ı seçin:
Test-grid-connection veri bağlantınızı seçin vesil'i seçin.





