SQL Server Integration Services kullanarak U-SQL işlerini zamanlama (SSIS)

Bu belgede, SQL Server tümleştirme hizmeti 'ni (SSIS) kullanarak U-SQL işlerini nasıl düzenleyeceğinizi ve oluşturacağınızı öğreneceksiniz.

Önkoşullar

Tümleştirme Hizmetleri Için Azure Özellik paketi , Azure Data Lake Analytics hizmetine bağlanmasına yardımcı olan Azure Data Lake Analytics görevi ve Azure Data Lake Analytics bağlantı yöneticisini sağlar. Bu görevi kullanmak için, ' yi yüklediğinizden emin olun:

• Visual Studio için SQL Server Veri Araçları indirin ve yükleyin (SSDT)
• Tümleştirme Hizmetleri için Azure Feature Pack 'i (SSIS) yükler

Azure Data Lake Analytics görev

Azure Data Lake Analytics görevi, kullanıcıların U-SQL işlerini Azure Data Lake Analytics hesabına göndermesine izin verir.

Azure Data Lake Analytics görevi yapılandırmayı öğrenin.

U-SQL betiğini farklı yerlerden, SSIS yerleşik işlevleri ve görevleri kullanarak alabilirsiniz. aşağıdaki senaryolar, farklı Kullanıcı durumları için U-SQL betiklerini nasıl yapılandırabilirim göstermektedir.

Senaryo 1-iç satır betiği kullan TVFs ve depolanan procs

Azure Data Lake Analytics görev Düzenleyicisi ' nde, SourceType öğesini DirectInput olarak yapılandırın ve U-SQL deyimlerini ustointo içine koyun.

Kolay bakım ve kod yönetimi için, yalnızca kısa U-SQL betiğini satır içi betikler olarak Yerleştir (örneğin, var olan tablo değerli işlevleri ve saklı yordamları U-SQL veritabanlarınızda çağırabilirsiniz).

İlgili makale: parametreleri saklı yordamlara geçirme

Senaryo 2-Azure Data Lake Store içindeki U-SQL dosyalarını kullanma

Ayrıca, Azure Feature Pack 'te Azure Data Lake Store dosya sistemi görevi ' ni kullanarak Azure Data Lake Store U-SQL dosyalarını da kullanabilirsiniz. Bu yaklaşım, bulutta depolanan betikleri kullanmanıza olanak sağlar.

Azure Data Lake Store dosya sistemi görevi ve Azure Data Lake Analytics görevi arasındaki bağlantıyı ayarlamak için aşağıdaki adımları izleyin.

Görev denetim akışını ayarla

SSIS paket tasarımı görünümünde, Foreach döngüsü kapsayıcısına bir Azure Data Lake Store dosya sistemi görevi, bir foreach döngüsü kapsayıcısı ve bir Azure Data Lake Analytics görevi ekleyin. Azure Data Lake Store dosya sistemi görevi, ADLS hesabınızdaki U-SQL dosyalarını geçici bir klasöre indirmeye yardımcı olur. Foreach döngüsü kapsayıcısı ve Azure Data Lake Analytics görevi, bir U-SQL işi olarak geçici klasörün altındaki her U-SQL dosyasını Azure Data Lake Analytics hesabına göndermeye yardımcı olur.

Azure Data Lake Store dosya sistemi görevini yapılandırma

1. Işlemi Copyfromadls olarak ayarlayın.
2. AzureDataLakeConnection kurma Azure Data Lake Store bağlantı Yöneticisihakkında daha fazla bilgi edinin.
3. AzureDataLakeDirectory ayarlayın. U-SQL komut dosyalarınızı depolayan klasöre işaret edin. Azure Data Lake Store hesabı kök klasörüyle ilişkili göreli yolu kullanın.
4. Hedefi , indirilen U-SQL betiklerini önbelleğe alan bir klasöre ayarlayın. Bu klasör yolu, U-SQL işi gönderimi için Foreach döngü kapsayıcısında kullanılacaktır.

Azure Data Lake Store dosya sistemi görevi hakkında daha fazla bilgi edinin.

Foreach döngüsü kapsayıcısını Yapılandır

1. Koleksiyon sayfasında, Numaralandırıcı öğesini Foreach dosya numaralandırıcısı olarak ayarlayın.

2. Numaralandırıcı yapılandırma grubu altındaki klasörü , indirilen U-SQL betiklerini içeren geçici klasöre ayarlayın.

3. Döngü kapsayıcısının yalnızca ile biten dosyaları yakaladığı şekilde, Numaralandırıcı yapılandırması altındaki dosyaları olarak ayarlayın *.usql .usql .

   

4. Değişken eşlemeleri sayfasında, her bir U-SQL dosyası için dosya adını almak üzere Kullanıcı tanımlı bir değişken ekleyin. Dosya adını almak için dizini 0 olarak ayarlayın. Bu örnekte, adlı bir değişken tanımlayın User::FileName . Bu değişken, Azure Data Lake Analytics görevinde u-SQL betik dosyası bağlantısını dinamik olarak almak ve U-SQL iş adını ayarlamak için kullanılacaktır.

   

Azure Data Lake Analytics görevi yapılandırma

1. SourceType öğesini FileConnection olarak ayarlayın.

2. Dosya bağlantısına işaret eden, Foreach döngüsü kapsayıcısından döndürülen dosya nesnelerine işaret eden dosya bağlantısıyla Fıleconnection değerini ayarlayın.

   Bu dosya bağlantısını oluşturmak için:

   1. <New Connection...> FileConnection ayarında öğesini seçin.

   2. Kullanım türünü mevcut dosya olarak ayarlayın ve dosyayı varolan herhangi bir dosyanın dosya yoluna ayarlayın.

      

   3. Bağlantı yöneticileri görünümünde, hemen şimdi oluşturulan dosya bağlantısına sağ tıklayın ve Özellikler' i seçin.

   4. Özellikler penceresinde, ifadeler' i genişletin ve ConnectionString öğesini foreach döngüsü kapsayıcısında tanımlanan değişkene ayarlayın (örneğin,) @[User::FileName] .

      

3. AzureDataLakeAnalyticsConnection ' i, işleri göndermek istediğiniz Azure Data Lake Analytics hesaba ayarlayın. Azure Data Lake Analytics bağlantı Yöneticisihakkında daha fazla bilgi edinin.

4. Diğer iş yapılandırmasını ayarlayın. Daha Fazla Bilgi Edinin.

5. U-SQL iş adını dinamik olarak ayarlamak için ifadeler kullanın:

   1. İfadeler sayfasında, JobName için yeni bir anahtar-değer çifti ekleyin.

   2. JobName değerini Foreach döngü kapsayıcısında tanımlanan değişkene ayarlayın, örneğin, @[User::FileName] .

      

Senaryo 3-Azure Blob depolamada U-SQL dosyaları kullanma

Azure Feature Pack 'te Azure BLOB Indirme görevini kullanarak, Azure Blob depolamada U-SQL dosyalarını kullanabilirsiniz. Bu yaklaşım, bulutta betikleri kullanmanıza izin vermez.

Bu adımlar Senaryo 2 ile benzerdir: Azure Data Lake Store Içindeki U-SQL dosyalarını kullanın. Azure Data Lake Store dosya sistemi görevini Azure Blob Indirme göreviyle değiştirin. Azure Blob Indirme görevi hakkında daha fazla bilgi edinin.

Denetim akışı aşağıdaki gibidir.

Senaryo 4-yerel makinede U-SQL dosyalarını kullanma

Bulutta depolanan U-SQL dosyalarını kullanmanın yanı sıra, yerel makinenizde veya SSIS paketleriniz ile dağıtılan dosyalardaki dosyaları da kullanabilirsiniz.

1. SSIS projesinde bağlantı yöneticileri ' ne sağ tıklayın ve Yeni bağlantı Yöneticisi' ni seçin.

2. Dosya türünü seçin ve Ekle... öğesine tıklayın.

3. Kullanım türünü mevcut dosya olarak ayarlayın ve dosyayı yerel makinedeki dosyaya ayarlayın.

   

4. Azure Data Lake Analytics görev ekleme ve:

   1. SourceType öğesini FileConnection olarak ayarlayın.
   2. Şimdi oluşturulan dosya bağlantısına FileConnection ayarlayın.

5. Azure Data Lake Analytics görev için diğer konfigürasyonları sona erdirin.

Senaryo 5-SSIS değişkeninde U-SQL ifadesini kullanma

Bazı durumlarda, U-SQL deyimlerini dinamik olarak oluşturmanız gerekebilir. U-SQL deyimini dinamik olarak oluşturmanıza yardımcı olması için SSIS ifadesi ve betik görevi gıbı diğer SSIS görevleri ile SSIS değişkenini kullanabilirsiniz.

1. Ssıs > Variables üst düzey menü aracılığıyla değişkenler araç penceresini açın.

2. Bir SSIS değişkeni ekleyin ve değeri doğrudan ayarlayın ya da değeri oluşturmak için ifadeyi kullanın.

3. Azure Data Lake Analytics görev ekleme ve:

   1. SourceType olarak ayarlayın.
   2. SourceVariable öğesini ŞIMDI oluşturulan SSIS değişkenine ayarlayın.

4. Azure Data Lake Analytics görev için diğer konfigürasyonları sona erdirin.

Senaryo 6-parametreleri U-SQL betiğe geçir

Bazı durumlarda, U-SQL betiğinden U-SQL değişken değerini dinamik olarak ayarlamak isteyebilirsiniz. Azure Data Lake Analytics görevinde parametre eşleme özelliği bu senaryoyla ilgili yardım. Genellikle iki tipik Kullanıcı durumu vardır:

• Giriş ve çıkış dosyası yolu değişkenlerini geçerli tarih ve saate göre dinamik olarak ayarlayın.
• Saklı yordamlar için parametresini ayarlayın.

U-SQL betiği için parametreleri ayarlama hakkında daha fazla bilgi edinin.

Sonraki adımlar

• Azure’da SSIS paketlerini çalıştırma
• Tümleştirme Hizmetleri için Azure Özellik paketi (SSIS)
• Azure Data Factory kullanarak U-SQL işlerini zamanlama