Vad är dataomvandling?

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Organisationer behöver kunna utforska sina kritiska affärsdata för förberedelse och omvandling av data för att kunna ge en korrekt analys av komplexa data som fortsätter att växa varje dag. Förberedelse av data krävs så att organisationer kan använda data i olika affärsprocesser och minska tiden till värde.

Med Data Factory kan du förbereda kodfria data i molnskala iterativt med hjälp av Power Query. Data Factory integreras med Power Query Online och gör Power Query M-funktioner tillgängliga som en pipelineaktivitet.

Data Factory översätter M som genererats av Power Query Online Mashup Editor till Spark-kod för körning i molnskala genom att översätta M till Azure Data Factory dataflöden. Att omvandla data med Power Query och dataflöden är särskilt användbart för datatekniker eller "integrerare av medborgardata".

Användningsfall

Snabb interaktiv datautforskning och förberedelse

Flera datatekniker och integrerare av medborgardata kan interaktivt utforska och förbereda datauppsättningar i molnskala. Med den ökade volymen, variationen och hastigheten för data i datasjöar behöver användarna ett effektivt sätt att utforska och förbereda datamängder. Du kan till exempel behöva skapa en datauppsättning som "har all demografisk kundinformation för nya kunder sedan 2017". Du mappar inte till ett känt mål. Du utforskar, omvandlar och förbereder datauppsättningar för att uppfylla ett krav innan du publicerar dem i sjön. Wrangling används ofta för mindre formella analysscenarier. De förberedda datauppsättningarna kan användas för att utföra transformeringar och maskininlärningsåtgärder nedströms.

Kodfri agil dataförberedelse

Integrerare av medborgardata ägnar mer än 60 % av sin tid åt att söka efter och förbereda data. De vill göra det utan kod för att förbättra driftsproduktiviteten. Genom att låta integrerare av medborgardata utöka, forma och publicera data med kända verktyg som Power Query Online på ett skalbart sätt förbättras deras produktivitet drastiskt. Omvandling i Azure Data Factory gör det möjligt för den välbekanta Power Query Online-kombinationsprogramredigeraren att låta integrerare av medborgardata snabbt åtgärda fel, standardisera data och producera data av hög kvalitet för att stödja affärsbeslut.

Dataverifiering och utforskning

Genomsök dina data visuellt på ett kodfritt sätt för att ta bort extremvärden, avvikelser och anpassa dem till en form för snabb analys.

Källor som stöds

Anslutning	Dataformat	Autentiseringstyp
Azure Blob Storage	CSV, Parquet, Excel	Kontonyckel, tjänstens huvudnamn, MSI
Azure Data Lake Storage Gen1	CSV, Parquet, Excel	Tjänstens huvudnamn, MSI
Azure Data Lake Storage Gen2	CSV, Parquet, Excel	Kontonyckel, tjänstens huvudnamn, MSI
Azure SQL Database	-	SQL autentisering, MSI, tjänstens huvudnamn
Azure Synapse Analytics	-	SQL autentisering, MSI, tjänstens huvudnamn

Kombinationsprogramredigeraren

När du skapar en Power Query aktivitet blir alla källdatauppsättningar datauppsättningsfrågor och placeras i mappen ADFResource. Som standard pekar UserQuery på den första datauppsättningsfrågan. Alla transformeringar bör göras på UserQuery eftersom ändringar i datauppsättningsfrågor inte stöds och inte heller kommer de att sparas. Det går för närvarande inte att byta namn på, lägga till och ta bort frågor.

För närvarande stöds inte alla Power Query M-funktioner för dataomvandling trots att de är tillgängliga under redigeringen. När du skapar dina Power Query aktiviteter uppmanas du att ange följande felmeddelande om en funktion inte stöds:

The Power Query Spark Runtime does not support the function

Mer information om transformeringar som stöds finns i Power Query dataomvandlingsfunktioner.

Nästa steg

Lär dig hur du skapar en dataomvandling Power Query kombinationsprogram.