Vanliga frågor och svar om Data Factory i Microsoft Fabric

Azure Data Factory (ADF) och Azure Synapse-pipelines har en separat PaaS-översikt (Platform as a Service). Dessa två lösningar fortsätter att samexistera tillsammans med Fabric Data Factory, som fungerar som SaaS-erbjudandet (Software as a Service). ADF- och Synapse-pipelines stöds fortfarande fullt ut och det finns inga planer på avskrivning. Det är viktigt att betona att vårt förslag för kommande projekt är att initiera dem med hjälp av Fabric Data Factory. Dessutom har vi strategier för att underlätta övergången av ADF- och Synapse-pipelines till Fabric Data Factory, så att de kan dra nytta av nya infrastrukturfunktioner.

När vi strävar efter att överbrygga funktionsluckor och införliva de robusta funktionerna för datapipelineorkestrering och arbetsflöden som finns i ADF/Azure Synapse-pipelines i Fabric Data Factory är vi medvetna om att vissa funktioner som finns i ADF/Synapse-pipelines kan vara nödvändiga för dina behov. Du uppmanas att fortsätta använda ADF/Synapse-pipelines om dessa funktioner är nödvändiga, men vi rekommenderar att du först utforskar dina nya möjligheter till dataintegrering i Fabric. Din feedback om vilka funktioner som är avgörande för din framgång är ovärderlig. För att underlätta detta arbetar vi aktivt med att introducera en ny funktion, vilket möjliggör migrering av dina befintliga datafabriker från Azure till Fabric-arbetsytor.

Vi backporterar inte nya funktioner från Fabric-pipelines till ADF/Synapse-pipelines. Vi har två separata översikter för Fabric Data Factory och ADF/Synapse. Vi utvärderar backport-begäranden som svar på inkommande feedback.

Huvudfunktionen i Fabric-pipelinen liknar Azure Synapse-pipelinen, men genom att använda Infrastruktur-pipeline kan användarna tillämpa alla dataanalysfunktioner i Fabric-plattformen. Viktiga skillnader och funktionsmappningar mellan Fabric-pipelinen och Azure Synapse-pipelinen finns här: Skillnader mellan Data Factory i Fabric och Azure.

Data Factory hjälper dig att lösa komplexa dataintegrerings- och ETL-scenarier med dataflytt och datatransformeringstjänster i molnskala medan datateknik hjälper dig att skapa Lake House, använda Apache Spark för att transformera och förbereda dina data. Skillnader mellan var och en av infrastrukturresursernas terminologi/upplevelser är tillgängliga under Microsoft Fabric-terminologi.

Månadsuppdateringar för infrastrukturresurser finns på Microsoft Fabric-bloggen.

För närvarande är den enda tillgängliga metoden att återskapa pipelines i Fabric Data Factory. Vi utvecklar flitigt en ny funktion som gör det möjligt för användare att effektivt övervaka och hantera både Fabric- och ADF-pipelines i Fabric-plattformen. Den här innovativa nya funktionen garanterar inte bara sömlöst bevarande av produktkontinuitet, utan ger också användarna möjlighet att fördjupa sig i de förbättrade funktioner som erbjuds av Fabrics dataintegreringsfunktioner.

Kapacitetsadministratörer i Microsoft Fabric kan använda appen Kapacitetsmått för Microsoft Fabric, även kallat måttappen, för att få insyn i kapacitetsresurser. Med den här appen kan administratörer se hur mycket processoranvändning, bearbetningstid och minne som används av datapipelines, dataflöden och andra objekt i deras kapacitetsaktiverade arbetsytor för infrastrukturresurser. Få insyn i överbelastningsorsaker, tider för hög efterfrågan, resursförbrukning och mer och identifiera enkelt de mest krävande eller mest populära objekten.

Power Query-aktiviteten i ADF delar likheter med Dataflow Gen2, men den har extra funktioner som möjliggör åtgärder som att skriva till specifika datamål osv. Den här jämförelsen överensstämmer mer rättvist med Dataflow Gen1 (Power BI-dataflöden eller Power Apps-dataflöden). Ta en titt här för mer information: Skillnader mellan Dataflöde Gen1 och Dataflöde Gen2.

Vårt nuvarande fokus omfattar aktiv utveckling av infrastrukturledningsstöd inom den lokala datagatewayen. Med den här kommande funktionen kan du sömlöst utnyttja Infrastruktur-pipelines för direkt åtkomst till lokala data. Tills den här funktionen är tillgänglig är en fungerande lösning möjlig: du kan använda Fabric-dataflödet för att överföra data till molnlagring och sedan använda Fabric-pipeline för att underlätta förflyttningen av data till önskat mål. Detta säkerställer en smidig övergång tills den lokala datagatewayintegrering är tillgänglig.

För närvarande erbjuder VNet-gatewayen en injicerande metod för sömlös integrering i ditt virtuella nätverk, vilket ger en robust väg för att använda privata slutpunkter för att upprätta säkra anslutningar till dina datalager. Det är viktigt att observera att den virtuella nätverksgatewayen endast rymmer infrastrukturdataflöden just nu. Våra kommande initiativ omfattar dock att utöka dess funktioner så att de omfattar infrastrukturledningar.

Med Fabric Data Factory kan du utveckla pipelines som maximerar dataflyttens dataflöde för din miljö. Dessa pipelines använder följande resurser fullt ut:

• Nätverksbandbredd mellan käll- och måldatalager
• Käll- eller måldatalagerindata/utdataåtgärder per sekund (IOPS) och bandbredd Den här fullständiga användningen innebär att du kan beräkna det totala dataflödet genom att mäta det minsta tillgängliga dataflödet med följande resurser:
• Källdatalager
• Måldatalager
• Nätverksbandbredd mellan käll- och måldatalager Under tiden arbetar vi kontinuerligt med innovationer för att öka det bästa möjliga dataflödet du kan uppnå. Idag kan tjänsten flytta 1 TB TPC-DI-datamängd (parquet-filer) till både Fabric Lakehouse-tabellen och Data Warehouse inom 5 minuter – flytta 1B rader under 1 min. Observera att den här prestandan bara är en referens genom att köra ovanstående testdatauppsättning. Det faktiska dataflödet beror fortfarande på de faktorer som angavs tidigare. Dessutom kan du alltid multiplicera dataflödet genom att köra flera kopieringsaktiviteter parallellt. Du kan till exempel använda ForEach-loopen.

Du kan separera de olika arbetsbelastningarna mellan arbetsytor och använda roller som medlem och visningsprogram för att ha en arbetsyta för datateknik som förbereder data för en arbetsyta som används för rapport- eller AI-utbildning. Med visningsrollen kan du sedan använda data från datateknikarbetsytan.

Nästa steg

Introduktion – Självstudie om Data Factory