Azure Data Lake-hulpprogramma's voor Visual Studio Code gebruiken

  • Artikel

Belangrijk

Nieuwe Azure Data Lake Analytics-accounts kunnen niet meer worden gemaakt, tenzij uw abonnement is ingeschakeld. Als u uw abonnement wilt inschakelen , neemt u contact op met de ondersteuning en geeft u uw bedrijfsscenario op.

Als u Azure Data Lake Analytics al gebruikt, moet u uiterlijk 29 februari 2024 een migratieplan voor Azure Synapse Analytics voor uw organisatie maken.

In dit artikel leert u hoe u Azure Data Lake Tools voor Visual Studio Code (VS Code) kunt gebruiken om U-SQL-scripts te maken, testen en uitvoeren. De informatie wordt ook behandeld in de volgende video:

Vereisten

Azure Data Lake Tools voor VS Code ondersteunt Windows, Linux en macOS. Lokale U-SQL-uitvoering en lokale foutopsporing werken alleen in Windows.

Voor macOS en Linux:

Azure Data Lake Tools installeren

Nadat u de vereisten hebt geïnstalleerd, kunt u Azure Data Lake Tools voor VS Code installeren.

Azure Data Lake Tools installeren

  1. Open Visual Studio Code.

  2. Selecteer Extensies in het linkerdeelvenster. Voer Azure Data Lake Tools in het zoekvak in.

  3. Selecteer Installeren naast Azure Data Lake Tools.

    Selecties voor het installeren van Data Lake Tools

    Na een paar seconden verandert de knop Installeren in Opnieuw laden.

  4. Selecteer Opnieuw laden om de Azure Data Lake Tools-extensie te activeren.

  5. Selecteer Venster opnieuw laden om te bevestigen. U ziet Azure Data Lake Tools in het deelvenster Extensies .

Azure Data Lake Tools activeren

Maak een .usql-bestand of open een bestaand .usql-bestand om de extensie te activeren.

Werken met U-SQL

Als u met U-SQL wilt werken, moet u een U-SQL-bestand of een map openen.

Het voorbeeldscript openen

Open het opdrachtenpalet (Ctrl+Shift+P) en voer ADL: Voorbeeldscript openen in. Er wordt een ander exemplaar van dit voorbeeld geopend. U kunt op dit exemplaar ook een script bewerken, configureren en verzenden.

Een map voor uw U-SQL-project openen

  1. Selecteer in Visual Studio Code het menu Bestand en selecteer vervolgens Map openen.

  2. Geef een map op en selecteer map selecteren.

  3. Selecteer het menu Bestand en selecteer vervolgens Nieuw. Er wordt een Untitled-1-bestand toegevoegd aan het project.

  4. Voer de volgende code in het bestand Untitled-1 in:

    @departments  =
    SELECT * FROM
        (VALUES
            (31,    "Sales"),
            (33,    "Engineering"),
            (34,    "Clerical"),
            (35,    "Marketing")
        ) AS
              D( DepID, DepName );

    UITVOER @departments NAAR "/Output/departments.csv" MET BEHULP VAN Outputters.Csv();

    Het script maakt een departments.csv-bestand met enkele gegevens die zijn opgenomen in de map /output.

  5. Sla het bestand op als myUSQL.usql in de geopende map.

Een U-SQL-script compileren

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
  2. Voer ADL: Script compileren in. De compileerresultaten worden weergegeven in het venster Uitvoer . U kunt ook met de rechtermuisknop op een scriptbestand klikken en vervolgens ADL: Script compileren selecteren om een U-SQL-taak te compileren. Het compilatieresultaat wordt weergegeven in het deelvenster Uitvoer .

Een U-SQL-script verzenden

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
  2. Voer ADL: Taak verzenden in. U kunt ook met de rechtermuisknop op een scriptbestand klikken en vervolgens ADL: Taak verzenden selecteren.

Nadat u een U-SQL-taak hebt ingediend, worden de indieningslogboeken weergegeven in het venster Uitvoer in VS Code. De taakweergave wordt weergegeven in het rechterdeelvenster. Als de verzending is geslaagd, wordt de taak-URL ook weergegeven. U kunt de taak-URL openen in een webbrowser om de status van de taak in realtime bij te houden.

Op het tabblad SAMENVATTING van de taakweergave ziet u de taakdetails. De belangrijkste functies zijn onder andere een script opnieuw indienen, een script dupliceren en openen in de portal. Op het tabblad GEGEVENS van de taakweergave kunt u verwijzen naar de invoerbestanden, uitvoerbestanden en bronbestanden. Bestanden kunnen worden gedownload naar de lokale computer.

Tabblad Samenvatting in de taakweergave

Tabblad Gegevens in de taakweergave

De standaardcontext instellen

U kunt de standaardcontext instellen om deze instelling toe te passen op alle scriptbestanden als u geen parameters voor bestanden afzonderlijk hebt ingesteld.

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

  2. Voer ADL in: Standaardcontext instellen. Of klik met de rechtermuisknop op de scripteditor en selecteer ADL: Standaardcontext instellen.

  3. Kies het gewenste account, de database en het gewenste schema. De instelling wordt opgeslagen in het configuratiebestand xxx_settings.json.

    Account, database en schema ingesteld als de standaardcontext

Scriptparameters instellen

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

  2. Voer ADL in: Scriptparameters instellen.

  3. Het xxx_settings.json-bestand wordt geopend met de volgende eigenschappen:

    • account: een Azure Data Lake Analytics-account onder uw Azure-abonnement dat nodig is om U-SQL-taken te compileren en uit te voeren. U moet het computeraccount configureren voordat u U-SQL-taken compileert en uitvoert.
    • database: een database onder uw account. De standaardwaarde is master.
    • schema: een schema onder uw database. De standaardwaarde is dbo.
    • optionalSettings:
      • prioriteit: het prioriteitsbereik ligt tussen 1 en 1000, met 1 als hoogste prioriteit. De standaardwaarde is 1000.
      • degreeOfParallelism: Het parallelle bereik ligt tussen 1 en 150. De standaardwaarde is de maximale parallelle uitvoering die is toegestaan in uw Azure Data Lake Analytics-account.

    Inhoud van het JSON-bestand

Notitie

Nadat u de configuratie hebt opgeslagen, worden de account-, database- en schemagegevens weergegeven op de statusbalk in de linkerbenedenhoek van het bijbehorende .usql-bestand als u geen standaardcontext hebt ingesteld.

Git negeren instellen

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

  2. Voer ADL in: Stel Git Ignore in.

    • Als u geen .gitIgnore-bestand in uw VS Code-werkmap hebt, wordt er een bestand met de naam .gitIgnore gemaakt in uw map. Vier items (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) worden standaard toegevoegd aan het bestand. U kunt indien nodig meer updates aanbrengen.
    • Als u al een .gitIgnore-bestand in uw VS Code-werkmap hebt, voegt het hulpprogramma vier items (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) toe aan uw .gitIgnore-bestand als de vier items niet in het bestand zijn opgenomen.

    Items in het .gitIgnore-bestand

Werken met bestanden achter code: C Sharp, Python en R

Azure Data Lake Tools ondersteunt meerdere aangepaste codes. Zie U-SQL ontwikkelen met Python, R en C Sharp voor Azure Data Lake Analytics in VS Code voor instructies.

Werken met assembly's

Zie U-SQL-assembly's ontwikkelen voor Azure Data Lake Analytics-taken voor informatie over het ontwikkelen van assembly's.

U kunt Data Lake Tools gebruiken om aangepaste code-assembly's te registreren in de Data Lake Analytics-catalogus.

Een assembly registreren

U kunt de assembly registreren met de opdracht ADL: Assembly registreren of ADL: Assembly registreren (geavanceerd).

Registreren via de opdracht ADL: Assembly registreren

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
  2. Voer ADL: Assembly registreren in.
  3. Geef het lokale assemblypad op.
  4. Selecteer een Data Lake Analytics-account.
  5. Selecteer een database.

De portal wordt geopend in een browser en het registratieproces van de assembly wordt weergegeven.

Een handigere manier om de opdracht ADL: Assembly registreren te activeren, is door met de rechtermuisknop op het .dll-bestand in Bestandenverkenner te klikken.

Registreren via de opdracht ADL: Assembly registreren (geavanceerd)

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

  2. Voer ADL: Assembly registreren (geavanceerd) in.

  3. Geef het lokale assemblypad op.

  4. Het JSON-bestand wordt weergegeven. Controleer en bewerk indien nodig de assemblyafhankelijkheden en resourceparameters. Instructies worden weergegeven in het venster Uitvoer . Als u wilt doorgaan met de registratie van de assembly, slaat u het JSON-bestand op (Ctrl+S).

    JSON-bestand met assemblyafhankelijkheden en resourceparameters

Notitie

  • Azure Data Lake Tools bepaalt automatisch of de DLL assembly-afhankelijkheden heeft. De afhankelijkheden worden weergegeven in het JSON-bestand nadat ze zijn gedetecteerd.
  • U kunt uw DLL-resources (bijvoorbeeld .txt, .png en .csv) uploaden als onderdeel van de assembly-registratie.

Een andere manier om de opdracht ADL: Assembly registreren (geavanceerd) te activeren, is door met de rechtermuisknop op het .dll-bestand in Bestandenverkenner te klikken.

De volgende U-SQL-code laat zien hoe u een assembly aanroept. In het voorbeeld is de naam van de assembly test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Lokale uitvoering en lokale foutopsporing van U-SQL gebruiken voor Windows-gebruikers

Lokale uitvoering van U-SQL test uw lokale gegevens en valideert uw script lokaal voordat uw code wordt gepubliceerd naar Data Lake Analytics. U kunt de functie voor lokale foutopsporing gebruiken om de volgende taken uit te voeren voordat de code naar Data Lake Analytics wordt verzonden:

  • Fouten opsporen in uw C#-code-behind.
  • Doorloop de code.
  • Valideer uw script lokaal.

De functie local run en local debug werkt alleen in Windows-omgevingen en wordt niet ondersteund op macOS- en Linux-besturingssystemen.

Zie U-SQL local run and local debug with Visual Studio Code (Lokale uitvoering van U-SQL en lokale foutopsporing met Visual Studio Code) voor instructies over lokale uitvoering en lokale foutopsporing.

Verbinding maken met Azure

Voordat u U-SQL-scripts in Data Lake Analytics kunt compileren en uitvoeren, moet u verbinding maken met uw Azure-account.

Verbinding maken met Azure met behulp van een opdracht

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

  2. Voer ADL: Aanmelden in. De aanmeldingsgegevens worden rechtsonder weergegeven.

    De aanmeldingsopdracht invoeren

    Melding over aanmelding en verificatie

  3. Selecteer Kopiëren & Openen om de aanmeldingswebpagina te openen. Plak de code in het vak en selecteer vervolgens Doorgaan.

    Aanmeldingswebpagina

  4. Volg de instructies om u aan te melden vanaf de webpagina. Wanneer u verbinding hebt, wordt de naam van uw Azure-account weergegeven op de statusbalk in de linkerbenedenhoek van het VS Code-venster.

Notitie

  • Data Lake Tools meldt u automatisch aan als u zich de volgende keer niet afmeldt.
  • Als voor uw account twee factoren zijn ingeschakeld, raden we u aan telefoonverificatie te gebruiken in plaats van een pincode.

Als u zich wilt afmelden, voert u de opdracht ADL: Afmelden in.

Verbinding maken met Azure vanuit de verkenner

Vouw AZURE DATALAKE uit, selecteer Aanmelden bij Azure en volg stap 3 en stap 4 van Verbinding maken met Azure met behulp van een opdracht.

'Aanmelden bij Azure' selectie in de verkenner

U kunt zich niet afmelden bij de verkenner. Zie Verbinding maken met Azure met behulp van een opdracht om u af te melden.

Een extractiescript maken

U kunt een extractiescript maken voor .csv-, .tsv- en .txt-bestanden met behulp van de opdracht ADL: CREATE EXTRACT Script of vanuit de Azure Data Lake Explorer.

Een extractiescript maken met behulp van een opdracht

  1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen en voer ADL: EXTRACT-script maken in.
  2. Geef het volledige pad op voor een Azure Storage-bestand en selecteer enter.
  3. Selecteer één account.
  4. Voor een .txt-bestand selecteert u een scheidingsteken om het bestand uit te pakken.

Proces voor het maken van een extractiescript

Het extractiescript wordt gegenereerd op basis van uw vermeldingen. Kies een van de twee opties voor een script dat de kolommen niet kan detecteren. Zo niet, dan wordt slechts één script gegenereerd.

Resultaat van het maken van een extractiescript

Een extractiescript maken vanuit de verkenner

Een andere manier om het extractiescript te maken, is via het snelmenu met de rechtermuisknop op het bestand .csv, .tsv of .txt in Azure Data Lake Store of Azure Blob Storage.

Opdracht 'CREATE EXTRACT Script' in het snelmenu

Volgende stappen