Použití nástrojů Azure Data Lake pro Visual Studio Code

V tomto článku se dozvíte, jak můžete pomocí Nástroje Azure Data Lake pro Visual Studio kódu (VS Code) vytvářet, testovat a spouštět skripty U-SQL. Tyto informace jsou také zahrnuty v následujícím videu:

Požadavky

Azure Data Lake nástroje pro VS Code podporují systémy Windows, Linux a macOS. Místní spuštění U-SQL a místní ladění funguje pouze v systému Windows.

• Visual Studio Code

Pro macOS a Linux:

• .NET 5,0 SDK
• Mono 5.2. x

Nainstalovat Azure Data Lake nástroje

Po instalaci požadovaných součástí můžete nainstalovat Azure Data Lake nástroje pro VS Code.

Instalace nástrojů Azure Data Lake

1. Otevřete Visual Studio Code.

2. V levém podokně vyberte rozšíření . Do vyhledávacího pole zadejte Azure Data Lake nástroje .

3. Vyberte instalovat vedle Azure Data Lake nástroje.

   

   Po několika sekundách se tlačítko nainstalovat změní na znovu načíst.

4. Vyberte možnost znovu načíst a aktivujte rozšíření Azure Data Lake Tools .

5. Pro potvrzení vyberte znovu načíst okno . Azure Data Lake nástroje můžete zobrazit v podokně rozšíření .

Aktivovat Azure Data Lake nástroje

Vytvořte soubor. usql nebo otevřete existující soubor. usql pro aktivaci rozšíření.

Práce s U-SQL

Chcete-li pracovat s jazykem U-SQL, je nutné otevřít soubor U-SQL nebo složku.

Otevření ukázkového skriptu

Otevřete paletu příkazů (CTRL + SHIFT + P) a zadejte ADL: Open Sample Script. Otevře se další instance této ukázky. V této instanci můžete také upravit, konfigurovat a odeslat skript.

Otevření složky pro projekt U-SQL

1. Z Visual Studio Code vyberte nabídku soubor a pak vyberte Otevřít složku.

2. Zadejte složku a potom vyberte možnost vybrat složku.

3. Vyberte nabídku soubor a pak vyberte možnost Nový. Do projektu se přidá soubor bez názvu-1.

4. Do souboru bez názvu-1 zadejte následující kód:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   VÝSTUP @departments do "složku/output/departments.csv" pomocí Outputters.Csv ();

   Skript vytvoří soubor departments.csv s některými daty zahrnutými do složky/Output.

5. Uložte soubor jako myUSQL. usql v otevřené složce.

Kompilace skriptu U-SQL

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.
2. Zadejte ADL: zkompiluje skript. Výsledky kompilace se zobrazí v okně výstup . Můžete také kliknout pravým tlačítkem na soubor skriptu a pak vybrat ADL: kompilovat skript pro zkompilování úlohy U-SQL. Výsledek kompilace se zobrazí v podokně výstup .

Odeslání skriptu U-SQL

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.
2. Zadejte ADL: Submit Job. Můžete také kliknout pravým tlačítkem na soubor skriptu a pak vybrat ADL: odeslat úlohu.

Po odeslání úlohy U-SQL se protokoly odeslání zobrazí v okně výstup v vs Code. Zobrazení úlohy se zobrazí v pravém podokně. Pokud je odeslání úspěšné, zobrazí se také adresa URL úlohy. Pokud chcete sledovat stav úlohy v reálném čase, můžete otevřít adresu URL úlohy ve webovém prohlížeči.

Na kartě Souhrn zobrazení úlohy si můžete prohlédnout podrobnosti o úloze. Hlavní funkce zahrnují opětovné odeslání skriptu, duplikování skriptu a otevření na portálu. Na kartě data zobrazení úlohy můžete odkazovat na vstupní soubory, výstupní soubory a soubory prostředků. Soubory lze stáhnout do místního počítače.

Nastavení výchozího kontextu

Výchozí kontext můžete nastavit tak, aby toto nastavení bylo použito pro všechny soubory skriptu, pokud jste nastavili parametry pro soubory jednotlivě.

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.

2. Zadejte ADL: Nastavte výchozí kontext. Nebo klikněte pravým tlačítkem na editor skriptů a vyberte ADL: Nastavte výchozí kontext.

3. Vyberte účet, databázi a schéma, které chcete. Nastavení je uloženo do xxx_settings.jskonfiguračního souboru.

   

Nastavení parametrů skriptu

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.

2. Zadejte ADL: Nastavte parametry skriptu.

3. xxx_settings.jssoubor je otevřen s následujícími vlastnostmi:

   • účet: účet Azure Data Lake Analytics v rámci předplatného Azure, který je potřebný pro kompilaci a spouštění úloh U-SQL. Účet počítače je potřeba nakonfigurovat před tím, než budete kompilovat a spouštět úlohy U-SQL.
   • databáze: databáze pod vaším účtem. Výchozí hodnota je Master.
   • schéma: schéma v rámci vaší databáze. Výchozí hodnota je dbo.
   • optionalSettings:
     • Priorita: rozsah priority je od 1 do 1000, přičemž 1 má nejvyšší prioritu. Výchozí hodnota je 1000.
     • degreeOfParallelism: rozsah paralelismus je od 1 do 150. Výchozí hodnota je maximální paralelismus povolený v účtu Azure Data Lake Analytics.

   

Nastavení ignorování Gitu

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.

2. Zadejte ADL: nastavte ignorovat Git.

   • Pokud v VS Code pracovní složce nemáte soubor . gitIgnore , vytvoří se ve složce soubor s názvem . gitIgnore . Ve výchozím nastavení jsou do souboru přidány čtyři položky (usqlCodeBehindReference, usqlCodeBehindGenerated, . cache, obj). V případě potřeby můžete provádět další aktualizace.
   • Pokud již máte soubor . gitIgnore ve vaší pracovní složce vs Code, nástroj přidá čtyři položky (usqlCodeBehindReference, usqlCodeBehindGenerated, . cache, obj) do souboru . gitIgnore , pokud se v souboru nezahrnuly čtyři položky.

   

Práce se soubory kódu na pozadí: Sharp, Python a R

Azure Data Lake nástroje podporují více vlastních kódů. Pokyny najdete v tématu vývoj u-SQL pomocí Pythonu, R a C ostře pro Azure Data Lake Analytics v vs Code.

Práce se sestaveními

Informace o vývoji sestavení naleznete v tématu vývoj sestavení U-SQL pro úlohy Azure Data Lake Analytics.

Můžete použít nástroje Data Lake k registraci vlastních sestavení kódu v katalogu Data Lake Analytics.

Registrace sestavení

Sestavení lze registrovat prostřednictvím příkazu ADL: Register Assembly nebo ADL: Register Assembly (rozšířené) .

Registrace pomocí příkazu ADL: Register Assembly

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.
2. Zadejte ADL: Register Assembly.
3. Zadejte cestu k místnímu sestavení.
4. Vyberte účet Data Lake Analytics.
5. Vyberte databázi.

Portál se otevře v prohlížeči a zobrazí se proces registrace sestavení.

Pohodlnější způsob, jak aktivovat příkaz ADL: Register Assembly , je kliknout pravým tlačítkem myši na soubor. dll v Průzkumníkovi souborů.

Registrace pomocí příkazu ADL: Register Assembly (rozšířené)

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.

2. Zadejte ADL: Register Assembly (rozšířené).

3. Zadejte cestu k místnímu sestavení.

4. Zobrazí se soubor JSON. V případě potřeby zkontrolujte a upravte závislosti sestavení a parametry prostředků. Pokyny se zobrazí v okně výstup . Chcete-li pokračovat v registraci sestavení, uložte soubor JSON (CTRL + S).

   

Dalším způsobem, jak aktivovat příkaz ADL: Register Assembly (rozšířené) , je kliknout pravým tlačítkem myši na soubor. dll v Průzkumníkovi souborů.

Následující kód U-SQL ukazuje, jak zavolat sestavení. V ukázce je název sestavení test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Použití místního spuštění U-SQL a místního ladění pro uživatele Windows

Místní spuštění U-SQL testuje vaše místní data a ověří váš skript místně, než bude váš kód publikován Data Lake Analytics. Můžete použít místní funkci ladění k dokončení následujících úkolů před odesláním kódu do Data Lake Analytics:

• Ladit kód v jazyce C# – na pozadí.
• Projděte si kód.
• Ověřte skript místně.

Funkce místního běhu a místního ladění funguje pouze v prostředích systému Windows a není podporována v operačních systémech macOS a Linux.

Pokyny k místnímu běhu a místnímu ladění najdete v tématu místní spuštění U-SQL a místní ladění pomocí Visual Studio Code.

Připojení k Azure

Než budete moct kompilovat a spouštět skripty U-SQL v Data Lake Analytics, musíte se připojit ke svému účtu Azure.

Připojení k Azure pomocí příkazu

1. Kliknutím na CTRL + SHIFT + P otevřete paletu příkazů.

2. Zadejte ADL: login. Přihlašovací informace se zobrazí v pravém dolním rohu.

   

   

3. Vyberte kopírovat & otevřít a otevřete přihlašovací webovou stránku. Vložte kód do pole a pak vyberte pokračovat.

   

4. Podle pokynů se přihlaste z webové stránky. Až budete připojeni, váš název účtu Azure se zobrazí na stavovém řádku v levém dolním rohu okna VS Code.

Pokud se chcete odhlásit, zadejte příkaz ADL: logout.

Připojení k Azure z Průzkumníka

Rozbalte Azure datalake, vyberte Přihlásit se k Azure a pak postupujte podle kroků 3 a 4 pro připojení k Azure pomocí příkazu.

Nemůžete se odhlásit z Průzkumníka. Pokud se chcete odhlásit, přečtěte si téma připojení k Azure pomocí příkazu.

Vytvoření skriptu pro extrakci

Můžete vytvořit skript pro extrakci pro soubory. csv,. TSV a. txt pomocí příkazu ADL: Create Extract Script nebo z Průzkumníka Azure Data Lake.

Vytvoření skriptu pro extrakci pomocí příkazu

1. Vyberte CTRL + SHIFT + P a otevřete paletu příkazů a zadejte ADL: Create Extract Script.
2. Zadejte úplnou cestu k souboru Azure Storage a vyberte klávesu ENTER.
3. Vyberte jeden účet.
4. Pro soubor. txt vyberte oddělovač pro extrakci souboru.

Skript pro extrakci se generuje na základě vašich záznamů. Pro skript, který nemůže detekovat sloupce, vyberte jednu z těchto dvou možností. V takovém případě se vygeneruje pouze jeden skript.

Vytvoření skriptu pro extrakci z Průzkumníka

Dalším způsobem, jak vytvořit skript pro extrakci, je pomocí nabídky (zástupce) pravým tlačítkem myši v souboru. csv,. TSV nebo. txt v Azure Data Lake Store nebo v úložišti objektů BLOB v Azure.

Další kroky

• Vývoj U-SQL pomocí Pythonu, R a C ostrého pro Azure Data Lake Analytics v VS Code
• Místní spuštění U-SQL a místní ladění pomocí Visual Studio Code
• Kurz: Začínáme s Azure Data Lake Analytics
• Kurz: vývoj skriptů U-SQL pomocí Data Lakech nástrojů pro Visual Studio