Plánování úloh U-SQL pomocí služba SSIS (SQL Server Integration Services) (SSIS)

V tomto dokumentu se dozvíte, jak orchestrovat a vytvářet úlohy U-SQL pomocí služby SQL Server Integration Service (SSIS).

Požadavky

Azure Feature Pack pro integrační služby poskytuje úlohu Azure Data Lake Analytics a Správce připojení Azure Data Lake Analytics , který pomáhá připojit se ke službě Azure Data Lake Analytics. Chcete-li použít tuto úlohu, nezapomeňte nainstalovat:

• Stažení a instalace nástrojů SQL Server Data Tools (SSDT) pro Visual Studio
• Nainstalovat Azure Feature Pack pro integrační služby (SSIS)

Azure Data Lake Analytics úkol

Úkol Azure Data Lake Analytics umožní uživatelům odesílat úlohy U-SQL do účtu Azure Data Lake Analytics.

Přečtěte si, jak nakonfigurovat úlohu Azure Data Lake Analytics.

Skript U-SQL můžete získat z různých míst pomocí integrovaných funkcí a úloh SSIS. pod scénáře ukazují, jak můžete nakonfigurovat skripty U-SQL pro různé uživatelské případy.

Scénář 1 – použití vloženého skriptového volání TVF a uložených procesů

V editoru úloh Azure Data Lake Analytics nakonfigurujte typ sourceType jako DirectInput a vložte příkazy U-SQL do USQLStatement.

V případě snadné údržby a správy kódu vložte pouze krátký skript U-SQL jako vložené skripty, například můžete volat existující funkce vracející tabulku a uložené procedury v databázích U-SQL.

Související článek: jak předat parametr uloženým procedurám

Scénář 2 – použití souborů U-SQL v Azure Data Lake Store

Soubory U-SQL můžete v Azure Data Lake Store použít také pomocí úlohy systému souborů Azure Data Lake Store v sadě Azure Feature Pack. Tento přístup umožňuje používat skripty uložené v cloudu.

Postupujte podle následujících kroků a nastavte připojení mezi úlohou Azure Data Lake Storeho systému souborů a úlohou Azure Data Lake Analytics.

Nastavit tok řízení úloh

V zobrazení návrhu balíčku SSIS přidejte úlohu systému souborů Azure Data Lake Store, kontejner smyčky foreach a úlohu Azure Data Lake Analytics do kontejneru smyčky foreach. Úloha Azure Data Lake Store systému souborů pomáhá stahovat soubory U-SQL v účtu ADLS do dočasné složky. Kontejner smyčky foreach a úloha Azure Data Lake Analytics pomůžou odeslat každý soubor U-SQL pod dočasnou složkou do Azure Data Lake Analytics účtu jako úlohu U-SQL.

Konfigurace úlohy systému souborů Azure Data Lake Store

1. Nastavte operaci na CopyFromADLS.
2. Nastavte AzureDataLakeConnection, přečtěte si další informace o Azure Data Lake Store Správce připojení.
3. Nastavte AzureDataLakeDirectory. Přejděte do složky, kde jsou uloženy skripty U-SQL. Použijte relativní cestu, která je relativní vzhledem ke kořenové složce účtu Azure Data Lake Store.
4. Nastavte cíl na složku, která ukládá do mezipaměti stažené skripty U-SQL. Tato cesta ke složce se použije v kontejneru smyčky foreach pro odeslání úlohy U-SQL.

Přečtěte si další informace o úloze Azure Data Lake Store systému souborů.

Konfigurovat kontejner smyčky foreach

1. Na stránce kolekce nastavte čítač výčtu souboru foreach.

2. Nastavte složku ve skupině Konfigurace enumerátoru na dočasnou složku, která obsahuje stažené skripty U-SQL.

3. Nastavte soubory v konfiguraci enumerátoru tak *.usql , aby kontejner smyčky zachytává pouze soubory končící na .usql .

   

4. Na stránce mapování proměnných přidejte uživatelsky definovanou proměnnou pro získání názvu souboru u každého souboru U-SQL. Pro získání názvu souboru nastavte index na 0. V tomto příkladu definujte proměnnou s názvem User::FileName . Tato proměnná se použije k dynamickému získání připojení souboru skriptu U-SQL a nastavení názvu úlohy U-SQL v Azure Data Lake Analytics úlohy.

   

Konfigurace úlohy Azure Data Lake Analytics

1. Nastavte typ sourceType na připojení.

2. Nastavte připojení k souboru připojení, které odkazuje na objekty souborů vrácené z kontejneru smyčky foreach.

   Vytvoření tohoto připojení k souboru:

   1. Vyberte možnost <New Connection...> v nastavení připojení .

   2. Nastavte typ využití na existující soubor a nastavte soubor na cestu k souboru existujícímu souboru.

      

   3. V zobrazení Správci připojení klikněte pravým tlačítkem myši na vytvořené připojení k souboru a vyberte možnost vlastnosti.

   4. V okně vlastnosti rozbalte výrazy a nastavte ConnectionString na proměnnou definovanou v kontejneru smyčky foreach, například @[User::FileName] .

      

3. Nastavte AzureDataLakeAnalyticsConnection na účet Azure Data Lake Analytics, do kterého chcete odesílat úlohy. Přečtěte si další informace o Azure Data Lake Analytics Správce připojení.

4. Nastavte další konfigurace úloh. Další informace

5. Použijte výrazy k dynamickému nastavení názvu úlohy U-SQL:

   1. Na stránce Expressions (výrazy ) přidejte novou dvojici klíč-hodnota výrazu pro JobName.

   2. Nastavte hodnotu pro JobName na proměnnou definovanou v kontejneru smyčky foreach, například @[User::FileName] .

      

Scénář 3 – použití souborů U-SQL v Azure Blob Storage

V Azure Feature Pack můžete použít soubory U-SQL v Azure Blob Storage pomocí úlohy stažení objektu BLOB v Azure . Tento přístup vám umožní používat skripty v cloudu.

Postup je podobný scénáři 2: použití souborů U-SQL v Azure Data Lake Store. Změňte úlohu systému souborů Azure Data Lake Store na úlohu stažení objektu BLOB v Azure. Přečtěte si další informace o úloze stažení objektu BLOB v Azure.

Tok řízení je podobný následujícímu.

Scénář 4 – použití souborů U-SQL na místním počítači

Kromě použití souborů U-SQL uložených v cloudu můžete také použít soubory na místním počítači nebo soubory nasazené s balíčky SSIS.

1. V projektu SSIS klikněte pravým tlačítkem na Správce připojení a vyberte Nový správce připojení.

2. Vyberte typ souboru a klikněte na Přidat....

3. Nastavte typ využití na existující soubor a nastavte soubor na soubor na místním počítači.

   

4. Přidat úlohu Azure Data Lake Analytics a:

   1. Nastavte typ sourceType na připojení.
   2. Nastavte připojení k souboru, které se právě vytvořilo.

5. Dokončete další konfigurace pro úlohu Azure Data Lake Analytics.

Scénář 5 – použití příkazu U-SQL v proměnné SSIS

V některých případech může být nutné dynamicky generovat příkazy U-SQL. Můžete použít proměnnou SSIS s výrazem SSIS a dalšími úkoly SSIS, jako je například úloha skriptu, abyste mohli dynamicky generovat příkaz U-SQL.

1. Okno nástrojů pro otevření proměnných pomocí SSIS > proměnných nabídky nejvyšší úrovně.

2. Přidejte proměnnou SSIS a nastavte hodnotu přímo nebo použijte k vygenerování hodnoty výraz .

3. Přidat úlohu Azure Data Lake Analytics a:

   1. Nastavte typ sourceType na Variable.
   2. Nastavte SourceVariable na aktuálně vytvořenou proměnnou SSIS.

4. Dokončete další konfigurace pro úlohu Azure Data Lake Analytics.

Scénář 6 – předání parametrů skriptu U-SQL

V některých případech možná budete chtít dynamicky nastavit hodnotu proměnné U-SQL ve skriptu U-SQL. Funkce mapování parametrů v rámci úlohy Azure Data Lake Analytics v tomto scénáři. Obvykle existují dva typické uživatelské případy:

• Nastavte proměnné cesty vstupního a výstupního souboru dynamicky na základě aktuálního data a času.
• Nastavte parametr pro uložené procedury.

Přečtěte si další informace o tom, jak nastavit parametry pro skript U-SQL.

Další kroky

• Spouštění balíčků služby SSIS v Azure
• Azure Feature Pack pro integrační služby (SSIS)
• Plánování úloh U-SQL pomocí Azure Data Factory