Azure Data Lake-hulpprogramma's voor Visual Studio Code gebruiken

In dit artikel leert u hoe u Azure Data Lake Tools voor Visual Studio Code (VS Code) kunt gebruiken om U-SQL-scripts te maken, testen en uitvoeren. De informatie wordt ook behandeld in de volgende video:

Vereisten

Azure Data Lake Tools voor VS Code ondersteunt Windows, Linux en macOS. Lokaal uitvoeren met U-SQL en lokale foutopsporing werkt alleen in Windows.

• Visual Studio Code

Voor macOS en Linux:

• .NET 5.0 SDK
• Mono 5.2.x

Azure Data Lake Tools installeren

Nadat u de vereisten hebt geïnstalleerd, kunt u Azure Data Lake Tools voor VS Code installeren.

Azure Data Lake Tools installeren

1. Open Visual Studio Code.

2. Selecteer Extensies in het linkerdeelvenster. Voer Azure Data Lake Tools in het zoekvak in.

3. Selecteer Installeren naast Azure Data Lake Tools.

   

   Na enkele seconden verandert de knop Installeren in Opnieuw laden.

4. Selecteer Opnieuw laden om de Azure Data Lake Tools-extensie te activeren.

5. Selecteer Venster opnieuw laden om te bevestigen. U kunt Azure Data Lake Tools zien in het deelvenster Extensies.

Azure Data Lake Tools activeren

Maak een USQL-bestand of open een bestaand .usql-bestand om de extensie te activeren.

Werken met U-SQL

Als u met U-SQL wilt werken, moet u een U-SQL-bestand of een map openen.

Het voorbeeldscript openen

Open het opdrachtenpalet (Ctrl+Shift+P) en voer ADL: Voorbeeldscript openen in. Er wordt een andere instantie van dit voorbeeld geopend. U kunt ook een script bewerken, configureren en verzenden op dit exemplaar.

Een map voor uw U-SQL-project openen

1. Selecteer Visual Studio code het menu Bestand en selecteer vervolgens Map openen.

2. Geef een map op en selecteer vervolgens Map selecteren.

3. Selecteer het menu Bestand en selecteer vervolgens Nieuw. Er wordt een bestand Untitled-1 toegevoegd aan het project.

4. Voer de volgende code in het bestand Untitled-1 in:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   UITVOER @departments NAAR '/Output/departments.csv' MET behulp van Outputters.Csv();

   Het script maakt een departments.csv bestand met enkele gegevens die zijn opgenomen in de map /output.

5. Sla het bestand op als myUSQL.usql in de geopende map.

Een U-SQL-script compileren

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
2. Voer ADL: Compile Script in. De compilatieresultaten worden weergegeven in het venster Uitvoer. U kunt ook met de rechtermuisknop op een scriptbestand klikken en vervolgens ADL: Compile Script selecteren om een U-SQL-taak te compileren. Het compilatieresultaat wordt weergegeven in het deelvenster Uitvoer.

Een U-SQL-script verzenden

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
2. Voer ADL: Taak verzenden in. U kunt ook met de rechtermuisknop op een scriptbestand klikken en vervolgens ADL: Taak verzenden selecteren.

Nadat u een U-SQL-taak hebt ingediend, worden de logboeken voor verzending weergegeven in het venster Uitvoer in VS Code. De taakweergave wordt weergegeven in het rechterdeelvenster. Als het indienen is geslaagd, wordt ook de taak-URL weergegeven. U kunt de taak-URL openen in een webbrowser om de realtime taakstatus bij te houden.

Op het tabblad SAMENVATTING van de taakweergave ziet u de taakdetails. De belangrijkste functies zijn onder andere het opnieuw inzenden van een script, het dupliceren van een script en openen in de portal. Op het tabblad GEGEVENS van de taakweergave kunt u verwijzen naar de invoerbestanden, uitvoerbestanden en bronbestanden. Bestanden kunnen worden gedownload naar de lokale computer.

De standaardcontext instellen

U kunt de standaardcontext instellen om deze instelling toe te passen op alle scriptbestanden als u geen parameters voor bestanden afzonderlijk hebt ingesteld.

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: standaardcontext instellen. Of klik met de rechtermuisknop op de scripteditor en selecteer ADL: Standaardcontext instellen.

3. Kies het account, de database en het schema dat u wilt gebruiken. De instelling wordt opgeslagen in xxx_settings.jsconfiguratiebestand.

   

Scriptparameters instellen

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL: Scriptparameters in.

3. De xxx_settings.jsbestand wordt geopend met de volgende eigenschappen:

   • account: een Azure Data Lake Analytics-account onder uw Azure-abonnement dat nodig is om U-SQL-taken te compileren en uit te voeren. U moet het computeraccount configureren voordat u U-SQL-taken compileert en uit te voeren.
   • database: een database onder uw account. De standaardwaarde is master.
   • schema: een schema onder uw database. De standaardwaarde is dbo.
   • optionalSettings:
     • prioriteit: het prioriteitsbereik ligt tussen 1 en 1000, met 1 als hoogste prioriteit. De standaardwaarde is 1000.
     • degreeOfParallelism: Het bereik voor parallelle parallellelisme ligt tussen 1 en 150. De standaardwaarde is de maximale parallellisme die is toegestaan in Azure Data Lake Analytics account.

   

Git-negeren instellen

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: stel Git Ignore in.

   • Als u geen .gitIgnore-bestand in uw VS Code-werkmap hebt, wordt er een bestand met de naam .gitIgnore gemaakt in uw map. Er worden standaard vier items (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) toegevoegd aan het bestand. U kunt indien nodig meer updates maken.
   • Als u al een .gitIgnore-bestand in uw VS Code-werkmap hebt, voegt het hulpprogramma vier items (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) toe aan uw .gitIgnore-bestand als de vier items niet zijn opgenomen in het bestand.

   

Werken met code achter bestanden: C Sharp, Python en R

Azure Data Lake Tools ondersteunt meerdere aangepaste codes. Zie U-SQL ontwikkelen met Python, Ren C Sharp voor Azure Data Lake Analytics in VS Code voor instructies.

Werken met assemblies

Zie U-SQL-assembliesontwikkelen voor Azure Data Lake Analytics-taken voor meer informatie over het ontwikkelen Azure Data Lake Analytics.

U kunt Data Lake Tools gebruiken voor het registreren van aangepaste codeassemblage's in de Data Lake Analytics catalogus.

Een assembly registreren

U kunt de assembly registreren via de opdracht ADL: Assembly registreren of ADL: Assembly registreren (geavanceerd).

Registreren via de opdracht ADL: Assembly registreren

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
2. Voer ADL: Assembly registreren in.
3. Geef het lokale assemblypad op.
4. Selecteer een Data Lake Analytics account.
5. Selecteer een database.

De portal wordt geopend in een browser en geeft het assembly-registratieproces weer.

Een handigere manier om de opdracht ADL: Assembly registreren te activeren, is door in Verkenner met de rechtermuisknop op het DLL-bestand te klikken.

Registreren via de opdracht ADL: Assembly registreren (geavanceerd)

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL: Assembly registreren (geavanceerd) in.

3. Geef het lokale assemblypad op.

4. Het JSON-bestand wordt weergegeven. Controleer en bewerk de assembly-afhankelijkheden en resourceparameters, indien nodig. Instructies worden weergegeven in het venster Uitvoer. Sla het JSON-bestand op (Ctrl+S) om door te gaan naar de assembly-registratie.

   

Een andere manier om de OPDRACHT ADL te activeren: Assembly (geavanceerd) registreren is door in Verkenner met de rechtermuisknop op het DLL-bestand te klikken.

De volgende U-SQL-code laat zien hoe u een assembly aanroept. In het voorbeeld is de naam van de assembly test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Lokale U-SQL-run en lokale foutopsporing gebruiken voor Windows-gebruikers

Met de lokale U-SQL-run worden uw lokale gegevens getest en wordt uw script lokaal gevalideerd voordat uw code wordt gepubliceerd naar Data Lake Analytics. U kunt de lokale foutopsporingsfunctie gebruiken om de volgende taken uit te voeren voordat uw code wordt verzonden naar Data Lake Analytics:

• Fouten opsporen in uw C#-code achter.
• Door de code te gaan.
• Valideer uw script lokaal.

De functie lokaal uitvoeren en lokale foutopsporing werkt alleen in Windows-omgevingen en wordt niet ondersteund op macOS- en Linux-besturingssystemen.

Zie U-SQL local run and local debug with Visual Studio Code (Lokaal uitvoeren met U-SQL en lokale foutopsporing met Visual Studio Code) voor instructies over lokaal uitvoeren en lokale foutopsporing.

Verbinding maken met Azure

Voordat u U-SQL-scripts kunt compileren en uitvoeren in Data Lake Analytics, moet u verbinding maken met uw Azure-account.

Verbinding maken met Azure met behulp van een opdracht

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: Meld u aan. De aanmeldingsgegevens worden rechtsbeneden weergegeven.

   

   

3. Selecteer Kopiëren & Openen om de aanmeldingspagina te openen. Plak de code in het vak en selecteer doorgaan.

   

4. Volg de instructies om u aan te melden vanaf de webpagina. Wanneer u verbinding hebt, wordt de naam van uw Azure-account weergegeven op de statusbalk in de linkerbenedenhoek van het VS Code-venster.

Als u zich wilt aanmelden, voert u de opdracht ADL: Logout in.

Verbinding maken met Azure vanuit de verkenner

Vouw AZURE DATALAKE uit, selecteer Aanmelden bij Azure en volg stap 3 en stap 4 van Verbinding maken met Azure met behulp van een opdracht.

U kunt zich niet aanmelden bij de verkenner. Zie Verbinding maken met Azure met behulp van een opdracht om u af te melden.

Een extractiescript maken

U kunt een extractiescript maken voor .csv-, .tsv- en .txt-bestanden met behulp van de opdracht ADL: EXTRACT-script maken of vanuit Azure Data Lake Explorer.

Een extractiescript maken met behulp van een opdracht

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen en voer ADL: Extract Script maken in.
2. Geef het volledige pad voor een Azure Storage op en selecteer enter.
3. Selecteer één account.
4. Selecteer voor een TXT-bestand een scheidingsteken om het bestand te extraheren.

Het extractiescript wordt gegenereerd op basis van uw vermeldingen. Voor een script dat de kolommen niet kan detecteren, kiest u een van de twee opties. Zo niet, dan wordt er slechts één script gegenereerd.

Een extractiescript maken vanuit de verkenner

Een andere manier om het extractiescript te maken, is via het snelmenu in het CSV-, TSV- of TXT-bestand in Azure Data Lake Store of Azure Blob Storage.

Volgende stappen

• U-SQL ontwikkelen met Python, R en C Sharp voor Azure Data Lake Analytics in VS Code
• Lokale U-SQL-run en lokale foutopsporing met Visual Studio Code
• Zelfstudie: Aan de slag met Azure Data Lake Analytics
• Zelfstudie: U-SQL-scripts ontwikkelen met Data Lake Tools voor Visual Studio