Använda Azure Data Lake Tools för Visual Studio Code

I den här artikeln får du lära dig hur du kan använda Azure Data Lake Tools för Visual Studio Code (VS Code) för att skapa, testa och köra U-SQL-skript. Informationen tas också upp i följande video:

Förutsättningar

Azure Data Lake Tools för VS Code stöder Windows, Linux och macOS. Lokal U-SQL-körning och lokal felsökning fungerar bara i Windows.

• Visual Studio Code

För macOS och Linux:

• .NET 5.0 SDK
• Mono 5.2.x

Installera Azure Data Lake Tools

När du har installerat förutsättningarna kan du installera Azure Data Lake Tools för VS Code.

Så här installerar du Azure Data Lake Tools

1. Öppna Visual Studio Code.

2. Välj Tillägg i den vänstra rutan. Ange Azure Data Lake Tools i sökrutan.

3. Välj Installera bredvid Azure Data Lake Tools.

   

   Efter några sekunder ändras knappen Installera till Läs in på nytt.

4. Välj Läs in på nytt för att aktivera Azure Data Lake Tools-tillägget.

5. Välj Läs in fönster igen för att bekräfta. Du kan se Azure Data Lake-verktyg i fönstret Tillägg.

Aktivera Azure Data Lake-verktyg

Skapa en .usql-fil eller öppna en befintlig .usql-fil för att aktivera tillägget.

Arbeta med U-SQL

Om du vill arbeta med U-SQL måste du öppna antingen en U-SQL-fil eller en mapp.

Öppna exempelskriptet

Öppna kommandopaletten (Ctrl+Skift+P) och ange ADL: Öppna exempelskriptet. En annan instans av det här exemplet öppnas. Du kan också redigera, konfigurera och skicka ett skript på den här instansen.

Så här öppnar du en mapp för ditt U-SQL-projekt

1. Från Visual Studio Code väljer du menyn Arkiv och sedan Öppna mapp.

2. Ange en mapp och välj sedan Välj mapp.

3. Välj menyn Arkiv och välj sedan Nytt. Filen Untitled-1 läggs till i projektet.

4. Ange följande kod i filen Untitled-1:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   UTDATA @departments TILL "/Output/departments.csv" USING Outputters.Csv();

   Skriptet skapar en departments.csv med vissa data som ingår i mappen /output.

5. Spara filen som myUSQL.usql i den öppna mappen.

Kompilera ett U-SQL-skript

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
2. Ange ADL: Compile Script. Kompileringsresultaten visas i fönstret Utdata. Du kan också högerklicka på en skriptfil och sedan välja ADL: Kompilera skript för att kompilera ett U-SQL-jobb. Kompileringsresultatet visas i fönstret Utdata.

Skicka ett U-SQL-skript

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
2. Ange ADL: Submit Job (ADL: Skicka jobb). Du kan också högerklicka på en skriptfil och sedan välja ADL: Submit Job (ADL: Skicka jobb).

När du har skickat ett U-SQL-jobb visas inskickade loggar i fönstret Utdata i VS Code. Jobbvyn visas i den högra rutan. Om överföringen lyckas visas även jobb-URL:en. Du kan öppna jobb-URL:en i en webbläsare för att spåra jobbstatusen i realtid.

På jobbvyns sammanfattningsflik kan du se jobbinformationen. Huvudfunktionerna är att skicka om ett skript, duplicera ett skript och öppna det i portalen. På fliken DATA i jobbvyn kan du referera till indatafiler, utdatafiler och resursfiler. Filer kan laddas ned till den lokala datorn.

Ange standardkontexten

Du kan ange standardkontexten för att tillämpa den här inställningen på alla skriptfiler om du inte har angett parametrar för filer individuellt.

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Ange standardkontext. Eller högerklicka på skriptredigeraren och välj ADL: Ange standardkontext.

3. Välj det konto, den databas och det schema som du vill använda. Inställningen sparas i xxx_settings.jskonfigurationsfilen.

   

Ange skriptparametrar

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Ange skriptparametrar.

3. Den xxx_settings.jsfilen öppnas med följande egenskaper:

   • account: Ett Azure Data Lake Analytics under din Azure-prenumeration som behövs för att kompilera och köra U-SQL-jobb. Du måste konfigurera datorkontot innan du kompilerar och kör U-SQL-jobb.
   • database: En databas under ditt konto. Standardvärdet är master.
   • schema: Ett schema under din databas. Standardvärdet är dbo.
   • optionalSettings:
     • priority: Prioritetsintervallet är mellan 1 och 1 000, med 1 som högsta prioritet. Standardvärdet är 1000.
     • degreeOfParallelism: Parallellitetsintervallet är mellan 1 och 150. Standardvärdet är den maximala parallellitet som tillåts i ditt Azure Data Lake Analytics konto.

   

Så här ställer du in Git ignore

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Ange Git Ignore.

   • Om du inte har en .gitIgnore-fil i arbetsmappen för VS Code skapas en fil med namnet .gitIgnore i mappen . Fyra objekt (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) läggs till i filen som standard. Du kan göra fler uppdateringar om det behövs.
   • Om du redan har en .gitIgnore-fil i arbetsmappen för VS Code lägger verktyget till fyra objekt (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) i din .gitIgnore-fil om de fyra objekten inte inkluderades i filen.

   

Arbeta med filer som ligger bakom kod: C Sharp, Python och R

Azure Data Lake Tools stöder flera anpassade koder. Instruktioner finns i Utveckla U-SQL med Python, R och C Sharpför Azure Data Lake Analytics i VS Code .

Arbeta med sammansättningar

Information om hur du utvecklar sammansättningar finns i Utveckla U-SQL-sammansättningar för Azure Data Lake Analytics jobb.

Du kan använda Data Lake Tools för att registrera anpassade kodsammansättningar i Data Lake Analytics katalog.

Registrera en sammansättning

Du kan registrera sammansättningen via kommandot ADL: Register Assembly (ADL: Registrera sammansättning) eller ADL: Register Assembly (Advanced).

Så här registrerar du dig via kommandot ADL: Registrera sammansättning

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
2. Ange ADL: Registrera sammansättning.
3. Ange den lokala sammansättningssökvägen.
4. Välj ett Data Lake Analytics konto.
5. Välj en databas.

Portalen öppnas i en webbläsare och visar processen för sammansättningsregistrering.

Ett enklare sätt att utlösa kommandot ADL: Registrera sammansättning är att högerklicka på DLL-filen i Utforskaren.

Så här registrerar du dig via kommandot ADL: Register Assembly (Advanced) (Registrera sammansättning (avancerat)

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Registrera sammansättning (avancerat).

3. Ange den lokala sammansättningssökvägen.

4. JSON-filen visas. Granska och redigera sammansättningsberoenden och resursparametrar om det behövs. Instruktioner visas i fönstret Utdata. Om du vill fortsätta med sammansättningsregistreringen sparar du JSON-filen (Ctrl+S).

   

Ett annat sätt att utlösa kommandot ADL: Register Assembly (Avancerat) är att högerklicka på DLL-filen i Utforskaren.

Följande U-SQL-kod visar hur du anropar en sammansättning. I exemplet är sammansättningsnamnet test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Använda lokal U-SQL-körning och lokal felsökning för Windows-användare

Lokal U-SQL-körning testar dina lokala data och verifierar skriptet lokalt innan koden publiceras till Data Lake Analytics. Du kan använda den lokala felsökningsfunktionen för att slutföra följande uppgifter innan koden skickas till Data Lake Analytics:

• Felsök din C#-kod bakom.
• Stega igenom koden.
• Verifiera skriptet lokalt.

Funktionen för lokal körning och lokal felsökning fungerar bara i Windows-miljöer och stöds inte på macOS- och Linux-baserade operativsystem.

Anvisningar om lokal körning och lokal felsökning finns i U-SQL local run and local debug with Visual Studio Code.

Anslut till Azure

Innan du kan kompilera och köra U-SQL-skript i Data Lake Analytics måste du ansluta till ditt Azure-konto.

Så här ansluter du till Azure med hjälp av ett kommando

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Logga in. Inloggningsinformationen visas i det nedre högra högra.

   

   

3. Välj Kopiera & Öppna för att öppna inloggningens webbsida. Klistra in koden i rutan och välj sedan Fortsätt.

   

4. Följ anvisningarna för att logga in från webbsidan. När du är ansluten visas ditt Azure-kontonamn i statusfältet i det nedre vänstra hörnet i VS Code-fönstret.

Logga ut genom att ange kommandot ADL: Logga ut.

Så här ansluter du till Azure från utforskaren

Expandera AZURE DATALAKE, välj Logga in på Azure och följ sedan steg 3 och steg 4 i Ansluta till Azure med hjälp av kommandot.

Du kan inte logga ut från utforskaren. Information om hur du loggar ut finns i Ansluta till Azure med hjälp av kommandot.

Skapa ett extraheringsskript

Du kan skapa ett extraheringsskript för .csv-, .tsv- och .txt-filer med hjälp av kommandot ADL: Create EXTRACT Script eller från Azure Data Lake Explorer.

Så här skapar du ett extraheringsskript med hjälp av ett kommando

1. Välj Ctrl+Skift+P för att öppna kommandopaletten och ange ADL: Skapa EXTRAHERINGsskript.
2. Ange den fullständiga sökvägen för Azure Storage fil och välj Retur.
3. Välj ett konto.
4. För en .txt-fil väljer du en avgränsare för att extrahera filen.

Extraheringsskriptet genereras baserat på dina poster. Välj ett av de två alternativen för ett skript som inte kan identifiera kolumnerna. Annars genereras bara ett skript.

Så här skapar du ett extraheringsskript från utforskaren

Ett annat sätt att skapa extraheringsskriptet är via snabbmenyn på .csv-, .tsv- eller .txt-filen i Azure Data Lake Store eller Azure Blob Storage.

Nästa steg

• Utveckla U-SQL med Python, R och C Sharp för Azure Data Lake Analytics i VS Code
• Lokal U-SQL-körning och lokal felsökning med Visual Studio Code
• Självstudie: Komma igång med Azure Data Lake Analytics
• Självstudie: Utveckla U-SQL-skript med hjälp av Data Lake Tools för Visual Studio