Mappa dataflöden i Azure Data Factory

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Vad är Mappa dataflöden?

Mappning av dataflöden är visuellt utformade datatransformeringar i Azure Data Factory. Med dataflöden kan datatekniker utveckla datatransformeringslogik utan att skriva kod. De resulterande dataflödena körs som aktiviteter inom Azure Data Factory pipelines som använder utskalade Apache Spark-kluster. Dataflödesaktiviteter kan operationaliseras med befintliga Azure Data Factory funktioner för schemaläggning, kontroll, flöde och övervakning.

Mappning av dataflöden ger en helt visuell upplevelse utan kodning. Dina dataflöden körs i ADF-hanterade körningskluster för utskalad databearbetning. Azure Data Factory hanterar all kodöversättning, sökvägsoptimering och körning av dina dataflödesjobb.

Komma igång

Dataflöden skapas från fönstret fabriksresurser, till exempel pipelines och datauppsättningar. Om du vill skapa ett dataflöde väljer du plustecknet bredvid Fabriksresurser och väljer sedan Dataflöde.

New data flow

Den här åtgärden tar dig till dataflödesarbetsytan, där du kan skapa din omvandlingslogik. Välj Lägg till källa för att börja konfigurera källomvandlingen. Mer information finns i Källtransformering.

Redigera dataflöden

Mappning av dataflöde har en unik redigeringsarbetsyta som är utformad för att göra det enkelt att skapa omvandlingslogik. Dataflödesarbetsytan är uppdelad i tre delar: det övre fältet, grafen och konfigurationspanelen.

Screenshot shows the data flow canvas with top bar, graph, and configuration panel labeled.

Graph

Diagrammet visar transformeringsströmmen. Den visar ursprunget för källdata när de flödar till en eller flera mottagare. Om du vill lägga till en ny källa väljer du Lägg till källa. Om du vill lägga till en ny transformering väljer du plustecknet längst ned till höger i en befintlig transformering. Läs mer om hur du hanterar dataflödesdiagrammet.

Screenshot shows the graph part of the canvas with a Search text box.

Konfigurationspanelen

Konfigurationspanelen visar de inställningar som är specifika för den aktuella valda omvandlingen. Om ingen transformering har valts visas dataflödet. I den övergripande dataflödeskonfigurationen kan du lägga till parametrar via fliken Parametrar . Mer information finns i Mappa dataflödesparametrar.

Varje transformering innehåller minst fyra konfigurationsflikar.

Transformeringsinställningar

Den första fliken i konfigurationsfönstret för varje transformering innehåller de inställningar som är specifika för den omvandlingen. Mer information finns på dokumentationssidan för omvandlingen.

Source settings tab

Optimera

Fliken Optimera innehåller inställningar för att konfigurera partitioneringsscheman. Mer information om hur du optimerar dina dataflöden finns i prestandaguiden för mappning av dataflöde.

Screenshot shows the Optimize tab, which includes Partition option, Partition type, and Number of partitions.

Inspektera

Fliken Inspektera ger en vy över metadata för dataströmmen som du transformerar. Du kan se antalet kolumner, kolumnerna har ändrats, kolumnerna har lagts till, datatyper, kolumnordningen och kolumnreferenserna. Granska är en skrivskyddad vy över dina metadata. Du behöver inte ha felsökningsläget aktiverat för att se metadata i fönstret Inspektera .

Inspect

När du ändrar formen på dina data genom transformeringar visas flödet för metadataändringar i fönstret Inspektera . Om det inte finns något definierat schema i källomvandlingen visas inte metadata i fönstret Inspektera . Brist på metadata är vanligt i scenarier med schemaavvikelser.

Förhandsgranskning

Om felsökningsläget är aktiverat ger fliken Dataförhandsgranskning en interaktiv ögonblicksbild av data vid varje transformering. Mer information finns i Dataförhandsgranskning i felsökningsläge.

Översta fältet

Det övre fältet innehåller åtgärder som påverkar hela dataflödet, till exempel sparande och validering. Du kan också visa den underliggande JSON-koden och dataflödesskriptet för din omvandlingslogik. Mer information finns i avsnittet om dataflödesskriptet.

Tillgängliga transformeringar

Visa översikten över omvandling av mappningsdataflöde för att hämta en lista över tillgängliga transformeringar.

Dataflödesdatatyper

  • matris
  • binary
  • boolean
  • Komplexa
  • decimal (inkluderar precision)
  • date
  • flyt
  • heltal
  • long
  • map
  • short
  • sträng
  • timestamp

Dataflödesaktivitet

Mappning av dataflöden operationaliseras i ADF-pipelines med hjälp av dataflödesaktiviteten. Allt en användare behöver göra är att ange vilken integrationskörning som ska användas och skicka in parametervärden. Mer information finns i Azure Integration Runtime.

Felsökningsläge

Med felsökningsläget kan du interaktivt se resultatet av varje transformeringssteg medan du skapar och felsöker dina dataflöden. Felsökningssessionen kan användas både i när du skapar dataflödeslogik och kör pipeline-felsökningskörningar med dataflödesaktiviteter. Mer information finns i dokumentationen för felsökningsläget.

Övervaka dataflöden

Dataflödesmappning integreras med befintliga Azure Data Factory-funktioner för övervakning. Information om hur du förstår dataflödesövervakningsutdata finns i Övervaka mappning av dataflöden.

Azure Data Factory-teamet har skapat en prestandajusteringsguide som hjälper dig att optimera körningstiden för dina dataflöden när du har skapat din affärslogik.

Tillgängliga regioner

Mappning av dataflöden är tillgängliga i följande regioner i ADF:

Azure-region Dataflöden i ADF
Australien, centrala
Australien, centrala 2
Australien, östra
Australien, sydöstra
Brasilien, södra
Kanada, centrala
Indien, centrala
Central US
Kina, östra
Kina, östra 2
Kina – icke-regional
Kina, norra
Kina, norra 2
Asien, östra
East US
USA, östra 2
Frankrike, centrala
Frankrike, södra
Tyskland, centrala (suverän)
Tyskland – icke-regional (suverän)
Tyskland, norra (offentlig)
Tyskland, nordöstra (suverän)
Tyskland, västra centrala (offentlig)
Japan, östra
Japan, västra
Sydkorea, centrala
Sydkorea, södra
USA, norra centrala
Europa, norra
Norge, östra
Norge, västra
Sydafrika, norra
Sydafrika, västra
USA, södra centrala
Indien, södra
Sydostasien
Schweiz, norra
Schweiz, västra
Förenade Arabemiraten, centrala
Förenade Arabemiraten, norra
Storbritannien, södra
Storbritannien, västra
USA DoD, centrala
USA DoD, östra
US Gov, Arizona
US Gov , icke-regional
US Gov, Texas
US Gov, Virginia
USA, västra centrala
Europa, västra
Indien, västra
USA, västra
USA, västra 2
USA, västra 3

Nästa steg