Share via

Gewijzigde gegevens van Azure Data Lake Storage Gen2 vastleggen in Azure SQL Database met behulp van een gegevensopnameresource voor wijzigingen

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel gebruikt u de Gebruikersinterface van Azure Data Factory om een CDC-resource (Change Data Capture) te maken. De resource haalt gewijzigde gegevens op uit een Azure Data Lake Storage Gen2-bron en voegt deze in realtime toe aan Azure SQL Database.

In dit artikel leert u het volgende:

  • Maak een CDC-resource.
  • CDC-activiteit bewaken.

U kunt het configuratiepatroon in dit artikel wijzigen en uitbreiden.

Vereisten

Voordat u begint met de procedures in dit artikel, moet u ervoor zorgen dat u over deze resources beschikt:

  • Azure-abonnement. Als u geen Azure-abonnement hebt, maakt u een gratis Azure-account.
  • SQL-database. U gebruikt Azure SQL Database als brongegevensarchief. Als u geen SQL-database hebt, maakt u er een in Azure Portal.
  • Opslagaccount. U gebruikt Delta Lake die is opgeslagen in Azure Data Lake Storage Gen2 als doelgegevensarchief. Als u geen opslagaccount hebt, raadpleegt u Een opslagaccount maken voor de stappen om er een te maken.

Een CDC-artefact maken

  1. Ga naar het deelvenster Auteur in uw data factory. Onder Pijplijnen wordt een nieuw artefact op het hoogste niveau met de naam Change Data Capture (preview) weergegeven.

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. Beweeg de muisaanwijzer over Change Data Capture (preview) totdat er drie puntjes worden weergegeven. Selecteer vervolgens Acties voor Het vastleggen van gegevens wijzigen (preview).

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. Selecteer Nieuw CDC (preview). Met deze stap opent u een flyout om het begeleide proces te starten.

    Screenshot of a list of change data capture actions.

  4. U wordt gevraagd uw CDC-resource een naam te geven. De naam is standaard 'adfcdc' met een getal dat met 1 wordt verhoogd. U kunt deze standaardnaam vervangen door een naam die u kiest.

    Screenshot of the text box to update the name of a resource.

  5. Gebruik de vervolgkeuzelijst om uw gegevensbron te kiezen. Voor dit artikel selecteert u DelimitedText.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. U wordt gevraagd om een gekoppelde service te selecteren. Maak een nieuwe gekoppelde service of selecteer een bestaande service.

    Screenshot of the box to choose or create a linked service.

  7. Gebruik het gebied Broninstellingen om optioneel geavanceerde bronconfiguraties in te stellen, inclusief kolom- en rijscheidingstekens.

    Screenshot of advanced source settings to set delimiters.

    Als u deze broninstellingen niet handmatig bewerkt, worden ze ingesteld op de standaardinstellingen.

  8. Gebruik de knop Bladeren om uw brongegevensmap te selecteren.

    Screenshot of a folder icon to browse for a folder path.

  9. Nadat u een mappad hebt geselecteerd, selecteert u Doorgaan om het gegevensdoel in te stellen.

    Screenshot of the Continue button in the guided process to select data targets.

    U kunt ervoor kiezen om meerdere bronmappen toe te voegen met behulp van de plusknop (+). De andere bronnen moeten ook dezelfde gekoppelde service gebruiken die u al hebt geselecteerd.

  10. Selecteer een doeltypewaarde met behulp van de vervolgkeuzelijst. Voor dit artikel selecteert u Azure SQL Database.

    Screenshot of a dropdown menu of all data target types.

  11. U wordt gevraagd om een gekoppelde service te selecteren. Maak een nieuwe gekoppelde service of selecteer een bestaande service.

    Screenshot of the box to choose or create a linked service to your data target.

  12. Voor doeltabellen kunt u een nieuwe doeltabel maken of een bestaande tabel selecteren:

    • Als u een doeltabel wilt maken, selecteert u het tabblad Nieuwe entiteiten en selecteert u Nieuwe tabellen bewerken.

      Screenshot of the tab to create new tables for your target.

    • Als u een bestaande tabel wilt selecteren, selecteert u het tabblad Bestaande entiteiten en gebruikt u vervolgens het selectievakje om een tabel te kiezen. Gebruik de knop Voorbeeld om de tabelgegevens weer te geven.

      Screenshot of the tab to choose tables for your target.

    Als bestaande tabellen op het doel overeenkomende namen hebben, worden deze standaard geselecteerd onder Bestaande entiteiten. Zo niet, worden nieuwe tabellen met overeenkomende namen gemaakt onder Nieuwe entiteiten. Daarnaast kunt u nieuwe tabellen bewerken met behulp van de knop Nieuwe tabellen bewerken.

  13. U kunt de selectievakjes gebruiken om meerdere doeltabellen uit uw SQL-database te kiezen. Nadat u klaar bent met het kiezen van doeltabellen, selecteert u Doorgaan.

    Screenshot of the Continue button in the guided process to proceed to the next step.

  14. Er wordt een nieuw tabblad voor het vastleggen van wijzigingsgegevens weergegeven. Dit tabblad is de CDC Studio, waar u uw nieuwe resource kunt configureren.

    Screenshot of the change data capture studio.

    Er wordt automatisch een nieuwe toewijzing voor u gemaakt. U kunt de selecties van de brontabel en doeltabel voor uw toewijzing bijwerken met behulp van de vervolgkeuzelijsten.

    Screenshot of the source-to-target mapping in the change data capture studio.

  15. Nadat u de tabellen hebt geselecteerd, worden de bijbehorende kolommen standaard toegewezen met de wisselknop Voor automatisch toewijzen ingeschakeld. Automatisch toewijzen wijst de kolommen automatisch toe op naam in de sink, haalt nieuwe kolomwijzigingen op wanneer het bronschema zich ontwikkelt en verzendt deze informatie naar de ondersteunde sinktypen.

    Als u Automatische toewijzing wilt gebruiken en geen kolomtoewijzingen wilt wijzigen, gaat u rechtstreeks naar stap 18.

    Screenshot of the toggle for automatic mapping turned on.

    Als u de kolomtoewijzingen wilt inschakelen, selecteert u de toewijzingen en schakelt u de wisselknop voor automatisch toewijzen uit. Selecteer vervolgens de knop Kolomtoewijzingen om de toewijzingen weer te geven.

    Screenshot of mapping selection, the toggle for automatic mapping turned off, and the button for column mappings.

    U kunt op elk gewenst moment weer overschakelen naar automatische toewijzing door de wisselknop voor automatisch toewijzen in te schakelen.

  16. Bekijk uw kolomtoewijzingen. Gebruik de vervolgkeuzelijsten om uw kolomtoewijzingen te bewerken voor toewijzingsmethode, bronkolom en doelkolom.

    Screenshot of the page for editing column mappings.

    Op deze pagina kunt u het volgende doen:

    • Voeg meer kolomtoewijzingen toe met behulp van de knop Nieuwe toewijzing . Gebruik de vervolgkeuzelijsten om selecties te maken voor toewijzingsmethode, bronkolom en doelkolom.
    • Selecteer de kolom Sleutels als u de verwijderbewerking wilt bijhouden voor ondersteunde sinktypen.
    • Selecteer de knop Vernieuwen onder Gegevensvoorbeeld om te visualiseren hoe de gegevens naar het doel kijken.

    Screenshot of the button for adding column mappings, the dropdown list for mapping methods, the Keys column, and the Refresh button.

  17. Wanneer de toewijzing is voltooid, selecteert u de pijlknop om terug te keren naar het hoofdcanvas van CDC.

    Screenshot of the button to go back to the table mapping page.

  18. U kunt meer bron-naar-doeltoewijzingen toevoegen in één CDC-artefact. Gebruik de knop Bewerken om meer gegevensbronnen en doelen toe te voegen. Selecteer vervolgens Nieuwe toewijzing en gebruik de vervolgkeuzelijsten om een nieuwe bron en een nieuw doel in te stellen. U kunt automatisch toewijzen afzonderlijk in- of uitschakelen voor elk van deze toewijzingen.

    Screenshot of the button to add new sources and the button to set a new source-to-target mapping.

  19. Nadat uw toewijzingen zijn voltooid, stelt u de CDC-latentie in met behulp van de knop Latentie instellen.

    Screenshot of the Set Latency button at the top of the canvas.

  20. Selecteer de latentie van uw CDC en selecteer Vervolgens Toepassen om de wijzigingen aan te brengen.

    Latentie is standaard ingesteld op 15 minuten. In het voorbeeld in dit artikel wordt de realtime-optie voor latentie gebruikt. Realtime latentie haalt voortdurend wijzigingen in uw brongegevens op in intervallen van minder dan 1 minuut.

    Voor andere latenties (bijvoorbeeld als u 15 minuten selecteert), worden uw brongegevens verwerkt en worden de gewijzigde gegevens sinds de laatste verwerkte tijd opgehaald.

    Screenshot of the options for setting latency.

    Notitie

    Als ondersteuning wordt uitgebreid naar streaminggegevensintegratie (Azure Event Hubs en Kafka-gegevensbronnen), wordt de latentie standaard ingesteld op realtime.

  21. Nadat u klaar bent met het configureren van uw CDC, selecteert u Alles publiceren om uw wijzigingen te publiceren.

    Screenshot of the publish button at the top of the canvas.

    Notitie

    Als u uw wijzigingen niet publiceert, kunt u uw CDC-resource niet starten. De knop Start in de volgende stap is niet beschikbaar.

  22. Selecteer Start om uw wijzigingsgegevensopname uit te voeren.

    Screenshot of the Start button at the top of the canvas.

Uw wijzigingsgegevens vastleggen bewaken

  1. Open het deelvenster Monitor met behulp van een van deze methoden:

    • Selecteer Monitor in Azure Portal.

      Screenshot of the Monitor button in the Azure portal.

    • Selecteer het bewakingspictogram in de CDC-ontwerpfunctie.

      Screenshot of the monitoring icon at the top of the CDC canvas.

  2. Selecteer Change Data Capture (preview) om uw CDC-resources weer te geven.

    Screenshot of the Change Data Capture button.

    In het deelvenster Gegevens vastleggen van wijzigingen ziet u de bron-, doel-, status- en laatst verwerkte gegevens voor het vastleggen van wijzigingengegevens.

    Screenshot of an overview of the change data capture monitoring page.

  3. Selecteer de naam van uw CDC voor meer informatie. U kunt zien hoeveel wijzigingen (invoegen, bijwerken of verwijderen) zijn gelezen en geschreven, samen met andere diagnostische gegevens.

    Screenshot of the detailed monitoring of a selected change data capture.

    Als u meerdere toewijzingen instelt in uw wijzigingsgegevensopname, wordt elke toewijzing weergegeven als een andere kleur. Selecteer de balk om specifieke details voor elke toewijzing weer te geven of gebruik de diagnostische gegevens onderaan het deelvenster.

    Screenshot of the detailed monitoring information for a change data capture with multiple source-to-target mappings.

    Screenshot of a detailed breakdown of each mapping in a change data capture artifact.

Gerelateerde inhoud