Öğretici: Azure Data Lake Storage 2. Nesil(Genel Önizleme) içinde depolanan delta tablosuna yazma
Bu öğreticide, Azure Data Lake Storage 2. Nesil'daki bir Delta tablosuna yazmak için Stream Analytics işi oluşturma işlemi gösterilmektedir. Bu öğreticide aşağıdakilerin nasıl yapılacağını öğreneceksiniz:
- Olay hub'ınıza örnek veriler gönderen bir olay oluşturucu dağıtma
- Akış Analizi işi oluşturma
- Delta tablosuyla Azure Data Lake Storage 2. Nesil yapılandırma
- Stream Analytics işini çalıştırma
Önkoşullar
Başlamadan önce aşağıdaki adımları tamamlayın:
- Azure aboneliğiniz yoksa ücretsiz hesap oluşturun.
- TollApp olay oluşturucuyu Azure'a dağıtın, TollApp Azure Şablonunu Dağıtmak için bu bağlantıyı kullanın. 'interval' parametresini 1 olarak ayarlayın. Bu adım için yeni bir kaynak grubu oluşturun ve kullanın.
- bir Data Lake Storage 2. Nesil hesabı oluşturun.
Akış Analizi işi oluşturma
Azure Portal’ında oturum açın.
Soldaki menüden Tüm hizmetler'i seçin.
Fareyi Analiz bölümündeki Stream Analytics işlerinin üzerine getirin ve + (artı) seçeneğini belirleyin.
Azure portalının sol üst köşesinde bulunan Kaynak oluştur öğesini seçin.
Sonuçlar listesinden Analytics>Stream Analytics işi'ni seçin.
Yeni Stream Analytics işi sayfasında şu adımları izleyin:
- Abonelik için Azure aboneliğinizi seçin.
- Kaynak grubu için, Daha önce TollApp dağıtımında kullandığınız kaynağın aynısını seçin.
- Ad alanına iş için bir ad girin. Stream Analytics işinin adı yalnızca alfasayısal karakter, kısa çizgi ve alt çizgi içerebilir ve 3 ila 63 karakter uzunluğunda olmalıdır.
- Barındırma ortamı için Bulut'un seçili olduğunu onaylayın.
- Akış birimleri için 1'i seçin. Akış birimleri, bir işin yürütülmesi için gereken bilgi işlem kaynaklarını temsil eder. Akış birimlerini ölçeklendirme hakkında bilgi edinmek için akış birimlerini anlama ve ayarlama başlıklı makaleye bakın.
Sayfanın alt kısmındaki Gözden geçir ve oluştur'u seçin.
Gözden geçir ve oluştur sayfasında ayarları gözden geçirin ve Oluştur'u seçerek Stream Analytics sayfası oluşturun.
Dağıtım sayfasında Kaynağa git'i seçerek Stream Analytics iş sayfasına gidin.
İş girişi yapılandırma
Sonraki adım, TollApp dağıtımında oluşturulan olay hub'ını kullanarak işin verileri okuması için bir giriş kaynağı tanımlamaktır.
Önceki bölümde oluşturulan Stream Analytics işini bulun.
Stream Analytics işinin İş Topolojisi bölümünde Girişler'i seçin.
+ Giriş ve Olay hub'ı ekle'yi seçin.
Giriş formunu TollApp Azure Şablonu aracılığıyla oluşturulan aşağıdaki değerlerle doldurun:
Giriş diğer adı olarak giriş akışı girin.
Aboneliklerinizden Olay Hub'ı Seç'i seçin.
Abonelik için Azure aboneliğinizi seçin.
Olay Hub'ı ad alanı için önceki bölümde oluşturduğunuz olay hub'ı ad alanını seçin.
Kalan ayarlarda varsayılan seçenekleri kullanın ve Kaydet’i seçin.
İş çıkışını yapılandırma
Sonraki adım, işin veri yazabileceği bir çıkış havuzu tanımlamaktır. Bu öğreticide, çıkışı Azure Data Lake Storage 2. Nesil bir Delta tablosuna yazarsınız.
Stream Analytics işinin İş Topolojisi bölümünde Çıkışlar seçeneğini belirleyin.
+ Çıkış>Blob depolaması/ADLS 2. Nesil ekle'yi seçin.
Çıkış formunu aşağıdaki ayrıntılarla doldurun ve Kaydet'i seçin:
Çıkış diğer adı olarak DeltaOutput girin.
Aboneliklerinizden Blob depolama/ADLS 2. Nesil'i seçin.
Abonelik için Azure aboneliğinizi seçin.
Depolama hesabı için oluşturduğunuz ADLS 2. Nesil hesabını (tollapp ile başlayan hesap) seçin.
Kapsayıcı için Yeni oluştur'u seçin ve benzersiz bir kapsayıcı adı sağlayın.
Olay Serileştirme Biçimi için Delta Lake (Önizleme)'yi seçin. Delta lake buradaki seçeneklerden biri olarak listelenmiş olsa da veri biçimi değildir. Delta Lake, verilerinizi depolamak için sürümlenmiş Parquet dosyalarını kullanır. Delta lake hakkında daha fazla bilgi edinmek için.
Delta tablo yolu için öğretici klasörü/delta tablosu girin.
Kalan ayarlarda varsayılan seçenekleri kullanın ve Kaydet’i seçin.
Sorgu oluşturma
Bu noktada, gelen veri akışını okumak için ayarlanmış bir Stream Analytics işiniz vardır. Sonraki adım, verileri gerçek zamanlı olarak analiz eden bir sorgu oluşturmaktır. Sorgular, Stream Analytics'e özgü bazı uzantıları olan SQL benzeri bir dil kullanır.
Şimdi soldaki menüden İş topolojisi'nin altında Sorgu'yu seçin.
Sorgu penceresine aşağıdaki sorguyu girin. Bu örnekte sorgu, Event Hubs'daki verileri okur ve seçilen değerleri ADLS 2. Nesil'deki bir Delta tablosuna kopyalar.
SELECT State, CarModel.Make, TollAmount INTO DeltaOutput FROM EntryStream TIMESTAMP BY EntryTimeAraç çubuğunda Sorguyu kaydet'i seçin.
Stream Analytics işini başlatıp çıktıyı denetleyin
Azure portalında işe genel bakış sayfasına dönün ve Başlat'ı seçin.
İşi başlat sayfasında İş çıktısı başlangıç zamanı için Şimdi seçeneğinin belirlendiğini onaylayın ve ardından sayfanın alt kısmındaki Başlat'ı seçin.
Birkaç dakika sonra portalda iş için çıkış olarak yapılandırdığınız depolama hesabını ve kapsayıcıyı bulun. Artık delta tablosunu kapsayıcıda belirtilen klasörde görebilirsiniz. İşin ilk kez başlatılması birkaç dakika sürer, başlatıldıktan sonra veriler geldikçe çalışmaya devam eder.
Kaynakları temizleme
Artık gerekli olmadığında kaynak grubunu, Stream Analytics işini ve tüm ilgili kaynakları silin. İşin silinmesi, iş tarafından kullanılan akış birimlerinin faturalanmasını önler. İşi gelecekte kullanmayı planlıyorsanız, durdurup daha sonra gerektiğinde yeniden başlatabilirsiniz. Bu işi kullanmaya devam etmeyecekseniz, aşağıdaki adımları kullanarak bu öğretici tarafından oluşturulan tüm kaynakları silin:
- Azure portalında sol taraftaki menüden, Kaynak grupları'nı ve ardından oluşturduğunuz kaynağın adını seçin.
- Kaynak grubu sayfanızda, Sil'i seçin, metin kutusuna silinecek kaynağın adını yazın ve ardından Sil'i seçin.
Sonraki adımlar
Bu öğreticide basit bir Stream Analytics işi oluşturdunuz, gelen verileri filtrelediyseniz ve sonuçları ADLS 2. Nesil hesabında bir Delta tablosuna yazdınız. Stream Analytics işleri hakkında daha fazla bilgi edinmek için: