Share via

Filtrera och mata in för att Azure Data Lake Storage Gen2 med Stream Analytics utan kodredigerare

  • Artikel

Den här artikeln beskriver hur du kan använda kodredigeraren utan kod för att enkelt skapa ett Stream Analytics-jobb. Den läser kontinuerligt från dina händelsehubbar, filtrerar inkommande data och skriver sedan resultatet kontinuerligt till Azure Data Lake Storage Gen2.

Förutsättningar

  • Dina Azure Event Hubs resurser måste vara offentligt tillgängliga och inte vara bakom en brandvägg eller skyddas i en Azure-Virtual Network
  • Data i dina Event Hubs måste serialiseras i antingen JSON-, CSV- eller Avro-format.

Utveckla ett Stream Analytics-jobb för att filtrera och mata in realtidsdata

  1. Leta upp och välj instansen Azure Event Hubs i Azure Portal.

  2. Välj Funktioner>Bearbeta data och välj sedan Starta på kortet Filtrera och mata in till ADLS Gen2 .
    Skärmbild som visar kortet Filtrera och mata in till ADLS Gen2 där du väljer Start.

  3. Ange ett namn för Stream Analytics-jobbet och välj sedan Skapa.
    Skärmbild som visar var du anger ett jobbnamn.

  4. Ange serialiseringstypen för dina data i fönstret Event Hubs och den autentiseringsmetod som jobbet ska använda för att ansluta till händelsehubbarna. Välj Anslut.
    Skärmbild som visar området Event Hubs där du väljer serialiserings- och autentiseringsmetod.

  5. Om anslutningen har upprättats och du har dataströmmar som flödar in till Event Hubs-instansen ser du omedelbart två saker:

    1. Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid varje fält för att ta bort, byta namn på eller ändra dess typ.
      Skärmbild som visar var du kan lägga till ett fält eller ta bort, byta namn på eller ändra en fälttyp.
    2. Ett live-exempel på inkommande data i tabellen Dataförhandsgranskning under diagramvyn. Den uppdateras automatiskt med jämna mellanrum. Du kan välja Pausa förhandsversionen av direktuppspelning för att se en statisk vy över exempelindata.
      Skärmbild som visar exempeldata på fliken Dataförhandsgranskning.

  6. Välj filterpanelen . I området Filter väljer du ett fält för att filtrera inkommande data med ett villkor.
    Skärmbild som visar området Filter där du kan lägga till ett villkorsstyrt filter.

  7. Välj panelen Azure Data Lake Storage Gen2. Välj Azure Data Lake Gen2-kontot för att skicka filtrerade data:

    1. Välj prenumerationen, lagringskontots namn och container på den nedrullningsbara menyn.
    2. När prenumerationen har valts ska autentiseringsmetoden och lagringskontonyckeln fyllas i automatiskt. Välj Anslut.
      Mer information om fälten och exempel på sökvägsmönster finns i Blob Storage och Azure Data Lake Gen2-utdata från Azure Stream Analytics.
      Skärmbild som visar konfigurationsinställningarna för Azure Data Lake Gen2-blobcontaineranslutning.

  8. Du kan också välja Hämta statisk förhandsgranskning/Uppdatera statisk förhandsversion för att se den dataförhandsgranskning som ska matas in från Azure Data Lake Storage Gen2.
    Skärmbild som visar alternativet för förhandsgranskning av data och alternativet Uppdatera statisk förhandsgranskning.

  9. Välj Spara och välj sedan Starta Stream Analytics-jobbet.
    Skärmbild som visar alternativen Spara och Starta för jobbet.

  10. Om du vill starta jobbet anger du antalet enheter för direktuppspelning (SUS) som jobbet körs med. SUs representerar mängden beräkning och minne som allokerats till jobbet. Vi rekommenderar att du börjar med tre och sedan justerar efter behov.

  11. När du har valt Start börjar jobbet köras inom två minuter och måtten öppnas i flikavsnittet nedan.

    Skärmbild som visar fönstret Starta Stream Analytics-jobb.

    Du kan se jobbet under avsnittet Processdata på fliken Stream Analytics-jobb . Välj Uppdatera tills jobbstatusen körs. Välj Öppna mått för att övervaka det eller stoppa och starta om det efter behov.

    Skärmbild som visar fliken Stream Analytics-jobb.

    Här är ett exempel på sidan Mått :

    Skärmbild som visar sidan Mått.

Verifiera data i Data Lake Storage

  1. Du bör se filer som skapats i den angivna containern.

    Skärmbild som visar den genererade filen med filtrerade data i Azure Data Lake Storage.

  2. Ladda ned och öppna filen för att bekräfta att du bara ser filtrerade data. I följande exempel visas data med SwitchNum inställt på USA.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Nästa steg

Läs mer om Azure Stream Analytics och hur du övervakar jobbet du har skapat.