Mappa dataflöden i Azure Data Factory

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Vad är Mappa dataflöden?

Mappning av dataflöden är visuellt utformade datatransformationer i Azure Data Factory. Med dataflöden kan datatekniker utveckla datatransformeringslogik utan att skriva kod. De resulterande dataflödena körs som aktiviteter inom Azure Data Factory som använder utskalade Apache Spark kluster. Dataflödesaktiviteter kan operationaliseras med befintliga funktioner Azure Data Factory, kontroll, flöde och övervakning.

Mappning av dataflöden ger en helt visuell upplevelse utan att kodning krävs. Dina dataflöden körs på ADF-hanterade körningskluster för utskalade databearbetning. Azure Data Factory hanterar all kodöversättning, sökvägsoptimering och körning av dina dataflödesjobb.

Komma igång

Dataflöden skapas från fönstret fabriksresurser som pipelines och datauppsättningar. Om du vill skapa ett dataflöde väljer du plustecknet bredvid Fabriksresurser och väljer sedan Data Flow.

Den här åtgärden tar dig till dataflödesarbetsytan, där du kan skapa din transformeringslogik. Välj Lägg till källa för att börja konfigurera din källtransformering. Mer information finns i Källtransformering.

Redigera dataflöden

Mappning av dataflöde har en unik redigeringsarbetsyta som är utformad för att göra det enkelt att skapa transformeringslogik. Dataflödesarbetsytan är uppdelad i tre delar: det översta fältet, diagrammet och konfigurationspanelen.

Graph

Diagrammet visar transformeringsströmmen. Den visar ursprunget för källdata när de flödar till en eller flera mottagare. Om du vill lägga till en ny källa väljer du Lägg till källa. Om du vill lägga till en ny transformering väljer du plustecknet i det nedre högra av en befintlig transformering. Läs mer om hur du hanterar dataflödesdiagrammet.

Konfigurationspanel

Konfigurationspanelen visar de inställningar som är specifika för den valda transformeringen. Om ingen transformering har valts visas dataflödet. I den övergripande dataflödeskonfigurationen kan du lägga till parametrar via fliken Parametrar. Mer information finns i Mappa dataflödesparametrar.

Varje transformering innehåller minst fyra konfigurationsflikar.

Transformeringsinställningar

Den första fliken i varje transformerings konfigurationsfönster innehåller de inställningar som är specifika för omvandlingen. Mer information finns på dokumentationssidan för transformeringen.

Optimera

Fliken Optimera innehåller inställningar för att konfigurera partitioneringsscheman. Mer information om hur du optimerar dina dataflöden finns i prestandaguiden för mappning av dataflöden.

Inspektera

Fliken Inspektera ger en vy över metadata för dataströmmen som du transformerar. Du kan se antalet kolumner, kolumnerna har ändrats, de kolumner som lagts till, datatyper, kolumnordningen och kolumnreferenser. Inspect är en skrivskyddade vy över dina metadata. Du behöver inte ha felsökningsläget aktiverat för att se metadata i fönstret Inspektera.

När du ändrar formen på dina data genom omvandlingar ser du flödet för metadataändringar i fönstret Inspektera. Om det inte finns något definierat schema i din källtransformering visas inte metadata i fönstret Inspektera. Brist på metadata är vanligt i schemaavdriftsscenarier.

Förhandsgranskning

Om felsökningsläget är aktiverat ger fliken Dataförhandsgranskning dig en interaktiv ögonblicksbild av data vid varje transformering. Mer information finns i Dataförhandsgranskning i felsökningsläge.

Översta fältet

Det översta fältet innehåller åtgärder som påverkar hela dataflödet, som att spara och validera. Du kan även visa den underliggande JSON-koden och dataflödesskriptet för din transformeringslogik. Mer information finns i dataflödesskriptet.

Tillgängliga transformningar

Visa översikten över mappning av dataflödestransformering för att hämta en lista över tillgängliga omvandlingar.

Dataflödesdatatyper

• matris
• binary
• boolean
• Komplexa
• decimal (inklusive precision)
• date
• flyt
• heltal
• long
• map
• short
• sträng
• timestamp

Dataflödesaktivitet

Mappningsdataflöden operationaliseras i ADF-pipelines med hjälp av dataflödesaktiviteten. Allt en användare behöver göra är att ange vilken integreringskörning som ska användas och skicka in parametervärden. Mer information finns i Azure Integration Runtime.

Felsökningsläge

Med felsökningsläget kan du interaktivt se resultatet av varje transformeringssteg när du skapar och felsöker dina dataflöden. Felsökningssessionen kan användas både i när du skapar dataflödeslogiken och kör pipelinefelsökningskörningar med dataflödesaktiviteter. Mer information finns i dokumentationen om felsökningsläge.

Övervaka dataflöden

Mappning av dataflöde integreras med Azure Data Factory funktioner för övervakning. Information om hur du förstår övervakningsutdata för dataflöden finns i Övervaka mappning av dataflöden.

Teamet Azure Data Factory har skapat en prestandajusteringsguide som hjälper dig att optimera körningstiden för dina dataflöden när du har skapat din affärslogik.

Tillgängliga regioner

Mappningsdataflöden är tillgängliga i följande regioner i ADF:

Nästa steg

• Lär dig hur du skapar en källtransformering.
• Lär dig hur du skapar dina dataflöden i felsökningsläge.