Overzicht van gegevensopnameresources wijzigen

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

Aanpassing aan de cloud-first big data-wereld kan zeer lastig zijn voor data engineers die verantwoordelijk zijn voor het bouwen van complexe gegevensintegratie en ETL-pijplijnen.

Azure Data Factory introduceert een nieuw mechanisme om het leven van een data engineer eenvoudiger te maken.

Door automatisch gegevenswijzigingen in de bron te detecteren zonder dat complexe ontwerpen of coderen vereist is, maakt ADF het een fluitje van een cent om deze processen te schalen. Change Data Capture bestaat nu als een nieuwe systeemeigen resource op het hoogste niveau in de Azure Data Factory-studio, waar data engineers snel continu actieve taken kunnen configureren om big data op schaal te verwerken met extreme efficiëntie.

Met de nieuwe Change Data Capture-resource in ADF kunt u gegevens vastleggen met volledige betrouwbaarheid die continu in bijna realtime worden uitgevoerd via een begeleide configuratie-ervaring.

Ondersteunde gegevensbronnen

• Avro
• Azure Cosmos DB (SQL API)
• Azure SQL Database
• Azure SQL Managed Instance
• Tekst met scheidingstekens
• JSON
• ORC
• Parquet
• SQL Server
• XML
• Snowflake

Ondersteunde doelen

• Avro
• Azure SQL-database
• SQL Managed Instance
• Tekst met scheidingstekens
• Delta
• JSON
• ORC
• Parquet
• Azure Synapse Analytics

Bekende beperkingen

• Wanneer u momenteel bron-/doeltoewijzingen maakt, mag elke bron en elk doel slechts één keer worden gebruikt.
• Complexe typen worden momenteel niet ondersteund.
• Zelf-hostende Integration Runtime (SHIR) wordt momenteel niet ondersteund.

Raadpleeg deze gids voor probleemoplossing voor meer informatie over bekende beperkingen en hulp bij probleemoplossing.

Azure Synapse Analytics als doel

Wanneer u Azure Synapse Analytics als doel gebruikt, is de faserings-Instellingen beschikbaar op het hoofdtabelcanvas. Het inschakelen van fasering is verplicht wanneer u Azure Synapse Analytics als doel selecteert. Dit verbetert de schrijfprestaties aanzienlijk door gebruik te maken van de krachtige mogelijkheid voor bulksgewijs laden, zoals de opdracht COPY INTO. Fasering Instellingen kan op twee manieren worden geconfigureerd: fabrieksinstellingen gebruiken of kiezen voor een aangepaste instellingen. Fabrieksinstellingen zijn van toepassing op fabrieksniveau. Als deze instellingen niet zijn geconfigureerd, wordt u voor het eerst omgeleid naar de algemene sectie voor faseringsinstelling voor configuratie. Zodra alle CDC-resources op het hoogste niveau zijn ingesteld, wordt deze configuratie gebruikt. Aangepaste instellingen zijn alleen bedoeld voor de CDC-resource waarvoor deze is geconfigureerd en overschrijft de factory-instellingen.

Notitie

Omdat we de opdracht COPY INTO gebruiken om gegevens over te dragen van de faseringslocatie naar Azure Synapse Analytics, is het raadzaam ervoor te zorgen dat alle vereiste machtigingen vooraf zijn geconfigureerd in Azure Synapse Analytics.

Notitie

We gebruiken altijd de laatst gepubliceerde configuratie bij het starten van een CDC. Voor het uitvoeren van CDC's, terwijl uw gegevens worden verwerkt, wordt u 4 v-cores van algemeen gebruik gefactureerd Gegevensstroom s.

Gerelateerde inhoud

• Meer informatie over het instellen van een gegevensopnameresource voor wijzigingen.
• Meer informatie over het instellen van een wijzigingsgegevensopnameresource met schemaontwikkeling.