SQL Server Integration Services (SSIS) kullanarak U-SQL işleri zamanlama

Bu belgede, SQL Server Integration Service (SSIS) kullanarak U-SQL işlerini düzenlemeyi ve oluşturmayı öğreneceksiniz.

Önemli

Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırıldı. Bu duyuru ile daha fazla bilgi edinin.

Veri analizi için kuruluşunuz Azure Synapse Analytics veya Microsoft Fabric kullanabilir.

Önkoşullar

Tümleştirme Hizmetleri için Azure Özellik Paketi, Azure Data Lake Analytics hizmetine bağlanmaya yardımcı olan Azure Data Lake Analytics görevini ve Azure Data Lake Analytics Bağlantı Yöneticisi sağlar. Bu görevi kullanmak için şunları yüklediğinizden emin olun:

• Visual Studio için SQL Server Veri Araçları (SSDT) indirme ve yükleme
• Integration Services için Azure Özellik Paketi'ni (SSIS) yükleme

Azure Data Lake Analytics görevi

Azure Data Lake Analytics görevi, kullanıcıların Azure Data Lake Analytics hesabına U-SQL işleri göndermesine olanak tanır.

Azure Data Lake Analytics görevini yapılandırmayı öğrenin.

SSIS yerleşik işlevlerini ve görevlerini kullanarak U-SQL betiğini farklı yerlerden alabilirsiniz. Aşağıdaki senaryolarda U-SQL betiklerini farklı kullanıcı örnekleri için nasıl yapılandırabileceğiniz gösterilir.

Senaryo 1-Satır içi betik çağrısı tvfs ve depolanmış procs kullanma

Azure Data Lake Analytics Görev Düzenleyici SourceType'ıDirectInput olarak yapılandırın ve U-SQL deyimlerini USQLStatement'a yerleştirin.

Kolay bakım ve kod yönetimi için satır içi betik olarak yalnızca kısa U-SQL betiği koyun; örneğin, U-SQL veritabanlarınızda mevcut tablo değerli işlevleri ve saklı yordamları çağırabilirsiniz.

İlgili makale: Saklı yordamlara parametre geçirme

Senaryo 2-Azure Data Lake Store'da U-SQL dosyalarını kullanma

Azure Özellik Paketi'nde Azure Data Lake Store Dosya Sistemi Görevi'ni kullanarak Azure Data Lake Store'daki U-SQL dosyalarını da kullanabilirsiniz. Bu yaklaşım, bulutta depolanan betikleri kullanmanıza olanak tanır.

Azure Data Lake Store Dosya Sistemi Görevi ile Azure Data Lake Analytics Görevi arasındaki bağlantıyı ayarlamak için aşağıdaki adımları izleyin.

Görev denetimi akışını ayarlama

SSIS paketi tasarım görünümünde, Foreach Döngüsü Kapsayıcısı'na bir Azure Data Lake Store Dosya Sistemi Görevi, Foreach Döngüsü Kapsayıcısı ve bir Azure Data Lake Analytics Görevi ekleyin. Azure Data Lake Store Dosya Sistemi Görevi, ADLS hesabınızdaki U-SQL dosyalarını geçici bir klasöre indirmenize yardımcı olur. Foreach Döngüsü Kapsayıcısı ve Azure Data Lake Analytics Görevi, geçici klasör altındaki her U-SQL dosyasını Azure Data Lake Analytics hesabına U-SQL işi olarak göndermeye yardımcı olur.

Azure Data Lake Store Dosya Sistemi Görevini Yapılandırma

1. İşlemiCopyFromADLS olarak ayarlayın.
2. AzureDataLakeConnection'ı ayarlayın, Azure Data Lake Store Bağlantı Yöneticisi hakkında daha fazla bilgi edinin.
3. AzureDataLakeDirectory'i ayarlayın. U-SQL betiklerinizi depolayıcı klasörün üzerine gelin. Azure Data Lake Store hesabı kök klasörüne göre göreli yolu kullanın.
4. Hedef'i, indirilen U-SQL betiklerini önbelleğe alan bir klasöre ayarlayın. Bu klasör yolu, U-SQL iş gönderimi için Foreach Döngü Kapsayıcısı'nda kullanılır.

Azure Data Lake Store Dosya Sistemi Görevi hakkında daha fazla bilgi edinin.

Foreach Döngü Kapsayıcısını Yapılandırma

1. Koleksiyon sayfasında Numaralandırıcı'yıForeach Dosya Numaralayıcısı olarak ayarlayın.

2. Enumerator yapılandırma grubu altındaki Klasör'ü indirilen U-SQL betiklerini içeren geçici klasör olarak ayarlayın.

3. Döngü kapsayıcısının yalnızca ile .usqlbiten dosyaları yakalaması için *.usqlEnumerator yapılandırması altındaki Dosyaları olarak ayarlayın.

   

4. Değişken Eşlemeleri sayfasında, her U-SQL dosyasının dosya adını almak için kullanıcı tanımlı bir değişken ekleyin. Dosya adını almak için Dizini 0 olarak ayarlayın. Bu örnekte adlı User::FileNamebir değişken tanımlayın. Bu değişken, U-SQL betik dosyası bağlantısını dinamik olarak almak ve Azure Data Lake Analytics Görevi'nde U-SQL iş adını ayarlamak için kullanılır.

   

Azure Data Lake Analytics Görevini Yapılandırma

1. SourceType değerini FileConnection olarak ayarlayın.

2. FileConnection'ı Foreach Döngü Kapsayıcısı'ndan döndürülen dosya nesnelerine işaret eden dosya bağlantısına ayarlayın.

   Bu dosya bağlantısını oluşturmak için:

   1. DosyaBağlantı ayarında Yeni Bağlantı...> öğesini seçin<.

   2. Kullanım türü'nüVar olan dosya olarak, Dosya'yı ise var olan herhangi bir dosyanın dosya yoluna ayarlayın.

      

   3. Bağlantı Yöneticileri görünümünde, oluşturulan dosya bağlantısına sağ tıklayın ve Özellikler'i seçin.

   4. Özellikler penceresinde İfadeler'i genişletin ve ConnectionString'i Foreach Döngü Kapsayıcısı'nda tanımlanan değişken olarak ayarlayın; örneğin, @[User::FileName].

      

3. AzureDataLakeAnalyticsConnection'ı işleri göndermek istediğiniz Azure Data Lake Analytics hesabına ayarlayın. Azure Data Lake Analytics Bağlantı Yöneticisi hakkında daha fazla bilgi edinin.

4. Diğer iş yapılandırmalarını ayarlayın. Daha Fazla Bilgi Edinin.

5. U-SQL iş adını dinamik olarak ayarlamak için İfadeleri kullanın:

   1. İfadeler sayfasında JobName için yeni bir ifade anahtar-değer çifti ekleyin.

   2. JobName değerini Foreach Döngü Kapsayıcısı'nda tanımlanan değişken olarak ayarlayın, örneğin, @[User::FileName].

      

Senaryo 3-U-SQL dosyalarını Azure Blob Depolama kullanma

Azure Özellik Paketi'nde Azure Blob İndirme Görevi'ni kullanarak Azure Blob Depolama'da U-SQL dosyalarını kullanabilirsiniz. Bu yaklaşım, betikleri bulutta kullanmanıza olanak tanır.

Senaryo 2: Azure Data Lake Store'da U-SQL dosyalarını kullanma adımlarına benzer. Azure Data Lake Store Dosya Sistemi Görevini Azure Blob İndirme Görevi olarak değiştirin. Azure Blob İndirme Görevi hakkında daha fazla bilgi edinin.

Denetim akışı şöyledir:

Senaryo 4-Yerel makinede U-SQL dosyalarını kullanma

Bulutta depolanan U-SQL dosyalarını kullanmanın yanı sıra, yerel makinenizdeki dosyaları veya SSIS paketlerinizle dağıtılan dosyaları da kullanabilirsiniz.

1. SSIS projesinde Bağlantı Yöneticileri'ne sağ tıklayın ve Yeni Bağlantı Yöneticisi'ı seçin.

2. Dosya türü'nü ve ardından Ekle...'yi seçin.

3. Kullanım türü'nüVar olan dosya olarak ayarlayın ve Dosya'yı yerel makinedeki dosya olarak ayarlayın.

   

4. Azure Data Lake Analytics Görevi ekleyin ve:

   1. SourceType değerini FileConnection olarak ayarlayın.
   2. FileConnection değerini oluşturulan Dosya Bağlantısı olarak ayarlayın.

5. Azure Data Lake Analytics Görevi için diğer yapılandırmaları tamamlayın.

Senaryo 5-SSIS değişkeninde U-SQL deyimi kullanma

Bazı durumlarda, U-SQL deyimlerini dinamik olarak oluşturmanız gerekebilir. U-SQL deyimini dinamik olarak oluşturmanıza yardımcı olması için SSIS DeğişkeniniSSIS İfadesi ve Betik Görevi gibi diğer SSIS görevleriyle kullanabilirsiniz.

1. SSIS > Değişkenleri üst düzey menüsü aracılığıyla Değişkenler araç penceresini açın.

2. Bir SSIS Değişkeni ekleyin ve değeri doğrudan ayarlayın veya değeri oluşturmak için İfade'yi kullanın.

3. Azure Data Lake Analytics Görevi ekleyin ve:

   1. SourceType değerini Değişken olarak ayarlayın.
   2. SourceVariable değerini şimdi oluşturulan SSIS Değişkeni olarak ayarlayın.

4. Azure Data Lake Analytics Görevi için diğer yapılandırmaları tamamlayın.

Senaryo 6-Parametreleri U-SQL betiğine geçirme

Bazı durumlarda, U-SQL betiğindeki U-SQL değişken değerini dinamik olarak ayarlamak isteyebilirsiniz. Azure Data Lake Analytics Görevi'ndeki Parametre Eşleme özelliği bu senaryoya yardımcı olur. Genellikle iki tipik kullanıcı durumu vardır:

• Giriş ve çıkış dosyası yolu değişkenlerini geçerli tarih ve saate göre dinamik olarak ayarlayın.
• Saklı yordamlar için parametresini ayarlayın.

U-SQL betiği için parametreleri ayarlama hakkında daha fazla bilgi edinin.

Sonraki adımlar

• Azure’da SSIS paketlerini çalıştırma
• Integration Services (SSIS) için Azure Özellik Paketi
• Azure Data Factory kullanarak U-SQL işleri zamanlama