Övning – Använda Azure Data Factory-dataomvandling
Med Power Query-funktionen i Azure Data Factory kan du arbeta med och omvandla data. Det är ett objekt som kan läggas till i arbetsytedesignern som en aktivitet i en Azure Data Factory-pipeline för att utföra förberedelse av kodfria data. Det gör det möjligt för personer som inte är konvektörer med traditionella tekniker för förberedelse av data, till exempel Spark eller SQL Server, och språk som Python och T-SQL att förbereda data i molnskala iterativt.
Power Query-funktionen använder ett rutnätstypgränssnitt för grundläggande dataförberedelser som liknar estetiken i Excel, som kallas för en online-kombinationsredigerare. Redigeraren gör det också möjligt för mer avancerade användare att utföra mer komplexa dataförberedelser med hjälp av formler. Först måste du skapa en länkad tjänst till en datakälla innan du kan komma åt data
Formlerna fungerar med Power Query Online och gör Power Query M-funktioner tillgängliga för datafabriksanvändare. Power Query översätter sedan det M-språk som genereras av Online Mashup-redigeraren till Spark-kod för körning i molnskala.
Med den här funktionen kan både datatekniker och dataanalytiker interaktivt utforska och förbereda datauppsättningar. Dessutom kan de interaktivt arbeta med M-språket och förhandsgranska resultatet innan de visar det i kontexten för en bredare pipeline.
Om du vill lägga till en Power Query-aktivitet i Azure Data Factory klickar du på plusikonen och väljer Power Query i fönstret Fabriksresurser.
Lägg till en källdatauppsättning för ditt vridningsdataflöde och välj en datauppsättning för mottagare. Följande datakällor stöds.
| Koppling | Dataformat | Authentication type |
|---|---|---|
| Azure Blob Storage | CSV, Parquet | Kontonyckel |
| Azure Data Lake Storage Gen1 | CSV | Tjänstens huvudnamn |
| Azure Data Lake Storage Gen2 | CSV, Parquet | Kontonyckel, tjänstens huvudnamn |
| Azure SQL Database | SQL-autentisering | |
| Azure Synapse Analytics | SQL-autentisering |
När du har valt en källa klickar du på Skapa.
Då öppnas Kombinationsredigeraren online.
Den består av följande komponenter:
Datamängdslista.
Detta ger de datauppsättningar som har definierats som källa för dataomvandlingen.
Verktygsfältet För att vrida funktion.
Verktygsfältet innehåller en mängd olika dataomvandlingsfunktioner som användaren kan komma åt för att ändra data, inklusive:
- Hantera kolumner.
- Transformera tabeller.
- Minska rader.
- Lägger till kolumner.
- Kombinera tabeller.
Varje objekt är kontextkänsligt och innehåller underfunktioner som är specifika för det.
Kolumnrubriker.
Förutom möjligheten att byta namn på kolumner visas sammanhangskänsliga objekt för att hantera kolumner genom att högerklicka på kolumnen.
Inställningar.
På så sätt kan du lägga till eller redigera datakällor och datamottagare och ändra inställningen för dataaktiviteten.
Fönstret Steg.
I det här fönstret visas de steg som har tillämpats på utdata för vridning. I exemplet i bilden har steget med namnet "Källa" tillämpats på utdata med namnet "UserQuery".
Power Query-utdatalista.
Visar de dataomvandlingsutdata som har definierats.
Knappen Publicera.
Gör att du kan publicera det arbete som har skapats.
En Power Query-uppgift kan läggas till i arbetsytedesignern precis som en kopieringsaktivitet eller en mappning Dataflöde uppgift och kan hanteras och övervakas på samma sätt.
