Veelgestelde vragen over Data Factory in Microsoft Fabric

Azure Data Factory (ADF) en Azure Synapse-pijplijnen onderhouden een afzonderlijke PaaS-roadmap (Platform as a Service). Deze twee oplossingen blijven naast Fabric Data Factory bestaan, wat fungeert als saaS-aanbieding (Software as a Service). ADF- en Synapse-pijplijnen blijven volledig ondersteund en er zijn geen plannen voor afschaffing. Het is belangrijk om te benadrukken dat voor toekomstige projecten onze suggestie is om ze te initiëren met Fabric Data Factory. Daarnaast hebben we strategieën om de overgang van ADF- en Synapse-pijplijnen naar Fabric Data Factory te vergemakkelijken, zodat ze kunnen profiteren van nieuwe infrastructuurfunctionaliteiten. Meer informatie hierover vindt u hier.

Naarmate we streven naar het overbruggen van functionaliteitsproblemen en het opnemen van de robuuste indeling van gegevenspijplijnen en werkstroommogelijkheden in ADF/Azure Synapse-pijplijnen in Fabric Data Factory, erkennen we dat bepaalde functies die aanwezig zijn in ADF-/Synapse-pijplijnen mogelijk essentieel zijn voor uw behoeften. Hoewel u wordt aangemoedigd om ADF-/Synapse-pijplijnen te blijven gebruiken als deze functies nodig zijn, raden we u aan eerst uw nieuwe mogelijkheden voor gegevensintegratie in Fabric te verkennen. Uw feedback over welke functies cruciaal zijn voor uw succes, is van groot belang. Om dit mogelijk te maken, werken we actief aan het introduceren van een nieuwe mogelijkheid, waardoor ook de migratie van uw bestaande gegevensfactory's vanuit Azure naar Fabric-werkruimten mogelijk wordt gemaakt.

We backporteren geen nieuwe functies van Fabric-pijplijnen naar ADF-/Synapse-pijplijnen. We onderhouden twee afzonderlijke roadmaps voor Fabric Data Factory en ADF/Synapse. We evalueren backportaanvragen als reactie op binnenkomende feedback.

De belangrijkste functie van de Fabric-pijplijn is vergelijkbaar met de Azure Synapse-pijplijn, maar met behulp van infrastructuurpijplijn kunnen gebruikers alle mogelijkheden voor gegevensanalyse toepassen op het Fabric-platform. Belangrijke verschillen en functietoewijzingen tussen infrastructuurpijplijn en Azure Synapse-pijplijn vindt u hier: Verschillen tussen Data Factory in Fabric en Azure.

Data Factory helpt u bij het oplossen van complexe gegevensintegratie en ETL-scenario's met cloudgegevensverplaatsing en services voor gegevenstransformatie, terwijl data engineering u helpt lake house te maken, Apache Spark te gebruiken om uw gegevens te transformeren en voorbereiden. Verschillen tussen elk van de Fabric-terminologieën/-ervaringen zijn beschikbaar onder Microsoft Fabric-terminologie.

Maandelijkse fabric-updates zijn beschikbaar in de Microsoft Fabric-blog.

Om de overgang van klanten naar Microsoft Fabric vanuit Azure Data Factory (ADF) te vergemakkelijken, bieden we een scala aan essentiële functies en ondersteuningsmechanismen. Ten eerste bieden we uitgebreide ondersteuning voor het merendeel van de activiteiten die in ADF binnen Fabric worden gebruikt, samen met het toevoegen van nieuwe activiteiten die zijn afgestemd op meldingen, zoals Teams en Outlook-functies. Klanten hebben toegang tot een gedetailleerde lijst met beschikbare activiteiten in Data Factory binnen Fabric. Daarnaast hebben we de Fabric Lakehouse/Warehouse-connectors in Azure Data Factory geïntroduceerd, waardoor naadloze gegevensintegratie mogelijk is in de OneLake-omgeving van Fabric voor ADF-klanten. We bieden ook een handleiding voor ADF-klanten waarmee u uw bestaande toewijzingsgegevensstroomtransformaties kunt toewijzen aan nieuwe Dataflow Gen2-transformaties. Vooruitblik, als onderdeel van onze roadmap, zijn we inclusief de mogelijkheid om ADF-resources te koppelen aan Fabric, zodat klanten de functionaliteit van hun bestaande ADF-pijplijnen in Azure kunnen behouden tijdens het verkennen van infrastructuur en het plannen van uitgebreide upgradestrategieën. We werken nauw samen met klanten en de community om de meest effectieve manieren te bepalen om de migratie van gegevenspijplijnen van ADF naar Fabric te ondersteunen. Als onderdeel van deze inspanning bieden we een upgrade-ervaring waarmee u uw huidige gegevenspijplijnen in Fabric kunt testen via het proces van koppelen en upgraden.

Microsoft Fabric-capaciteitsbeheerders kunnen de Microsoft Fabric Capacity Metrics-app, ook wel bekend als de app met metrische gegevens, gebruiken om inzicht te krijgen in capaciteitsresources. Met deze app kunnen beheerders zien hoeveel CPU-gebruik, verwerkingstijd en geheugen worden gebruikt door gegevenspijplijnen, gegevensstromen en andere items in hun werkruimten met infrastructuurcapaciteit. Krijg inzicht in overbelastingsoorzaken, piekvraagtijden, resourceverbruik en identificeer de meest veeleisende of populairste items gemakkelijker.

De Power Query-activiteit binnen ADF deelt overeenkomsten met Dataflow Gen2, maar heeft extra functies waarmee acties, zoals schrijven naar specifieke gegevensbestemmingen, enzovoort mogelijk zijn. Deze vergelijking is redelijker afgestemd op Gegevensstroom Gen1 (Power BI-gegevensstromen of Power Apps-gegevensstromen). Bekijk hier meer informatie: Verschillen tussen Gegevensstroom Gen1 en Gegevensstroom Gen2.

Met behulp van de on-premises gegevensgateway kunnen klanten nu verbinding maken met on-premises gegevensbronnen met behulp van gegevensstromen en gegevenspijplijnen (preview) met Data Factory in Microsoft Fabric. Raadpleeg on-premises gegevensbronnen in Data Factory voor meer informatie.

Momenteel biedt de VNet-gateway een injectieve methode om naadloos te integreren in uw virtuele netwerk, wat een robuuste manier biedt voor het gebruik van privé-eindpunten om beveiligde verbindingen met uw gegevensarchieven tot stand te brengen. Het is belangrijk om te weten dat de VNet-gateway momenteel alleen geschikt is voor Fabric-gegevensstromen. Onze toekomstige initiatieven omvatten echter het uitbreiden van de mogelijkheden om Infrastructuurpijplijnen te omvatten.

Met Fabric Data Factory kunt u pijplijnen ontwikkelen waarmee de doorvoer van gegevensverplaatsing voor uw omgeving wordt gemaximaliseerd. Deze pijplijnen maken volledig gebruik van de volgende resources:

• Netwerkbandbreedte tussen de bron- en doelgegevensarchieven
• Invoer-/uitvoerbewerkingen voor bron- of doelgegevensopslag per seconde (IOPS) en bandbreedte Dit volledige gebruik betekent dat u de totale doorvoer kunt schatten door de minimale doorvoer te meten die beschikbaar is met de volgende resources:
• Brongegevensarchief
• Doelgegevensarchief
• Netwerkbandbreedte tussen de bron- en doelgegevensarchieven Ondertussen werken we continu aan innovaties om de best mogelijke doorvoer te verbeteren die u kunt bereiken. Vandaag de dag kan de service 1 TB TPC-DI-gegevensset (parquet-bestanden) binnen 5 minuten verplaatsen naar zowel de Fabric Lakehouse-tabel als datawarehouse: het verplaatsen van 1B-rijen onder 1 min. Houd er rekening mee dat deze prestaties alleen een verwijzing zijn door de bovenstaande testgegevensset uit te voeren. De werkelijke doorvoer is nog steeds afhankelijk van de eerder vermelde factoren. Bovendien kunt u uw doorvoer altijd vermenigvuldigen door meerdere kopieeractiviteiten parallel uit te voeren. Gebruik bijvoorbeeld forEach-lus.

U kunt de verschillende workloads tussen werkruimten scheiden en de rollen zoals lid en viewer gebruiken om een werkruimte te hebben voor data engineering die gegevens voorbereidt voor een werkruimte die wordt gebruikt voor rapport- of AI-training. Met de rol van kijker kunt u vervolgens gegevens uit de data engineering-werkruimte gebruiken.

Onze huidige focus omvat de actieve ontwikkeling van CDC-mogelijkheden binnen Data Factory In Fabric. Met deze toekomstige mogelijkheid kunt u gegevens verplaatsen over meerdere gegevensbronnen, waarbij verschillende kopieerpatronen worden gecombineerd, waaronder bulk-/batch-kopieerpatroon, incrementeel/doorlopend kopieerpatroon (CDC) en realtime kopieerpatroon in één 5x5-ervaring.

In bepaalde gebruikerservaringen kunt u systeemartefacten tegenkomen die niet zijn bedoeld voor interactie. U kunt deze artefacten het beste negeren, omdat ze uiteindelijk worden verwijderd uit de ervaringen Gegevens ophalen in de toekomst.

Prijzen voor Data Factory in Microsoft Fabric bieden een uitgebreide handleiding voor het berekenen van kosten voor gegevenspijplijnen en Dataflow Gen2. Het bevat verschillende scenario's met prijsvoorbeelden om u te helpen het prijsmodel beter te begrijpen.

Wat is er nieuw en gepland voor Data Factory in Microsoft Fabric biedt inzicht in toekomstige functies en de geschatte releasetijdlijnen in de komende maanden.

Volgende stappen

Inleiding - Data Factory-zelfstudie