Módosított adatok rögzítése az Azure Data Lake Storage Gen2-ről az Azure SQL Database-be egy változásadat-rögzítési erőforrás használatával

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben a cikkben az Azure Data Factory felhasználói felületével hoz létre változásadat-rögzítő (CDC) erőforrást. Az erőforrás egy Azure Data Lake Storage Gen2-forrásból veszi fel a módosított adatokat, és valós időben hozzáadja azOkat az Azure SQL Database-hez.

Ebben a cikkben az alábbiakkal ismerkedhet meg:

  • Hozzon létre egy CDC-erőforrást.
  • CDC-tevékenység figyelése.

Ebben a cikkben módosíthatja és kibonthatja a konfigurációs mintát.

Előfeltételek

Mielőtt elkezdené a cikkben szereplő eljárásokat, győződjön meg arról, hogy rendelkezik az alábbi erőforrásokkal:

  • Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy ingyenes Azure-fiókot.
  • SQL-adatbázis. Az Azure SQL Database-t használja forrásadattárként. Ha nem rendelkezik SQL-adatbázissal, hozzon létre egyet az Azure Portalon.
  • Storage-fiók. Céladattárként az Azure Data Lake Storage Gen2-ben tárolt Delta Lake-t használja. Ha nincs tárfiókja, a létrehozás lépéseit a Tárfiók létrehozása című témakörben találja.

CDC-összetevő létrehozása

  1. Nyissa meg a Szerző panelt az adat-előállítóban. A Folyamatok alatt megjelenik a Change Data Capture (előzetes verzió) nevű új legfelső szintű összetevő.

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. Mutasson az Adatrögzítés módosítása (előzetes verzió) fölé, amíg három pont nem jelenik meg. Ezután válassza az Adatrögzítési műveletek módosítása (előzetes verzió) lehetőséget.

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. Válassza az Új CDC (előzetes verzió) lehetőséget. Ez a lépés megnyit egy úszó panelt az irányított folyamat elindításához.

    Screenshot of a list of change data capture actions.

  4. A rendszer kéri, hogy nevezze el a CDC-erőforrást. Alapértelmezés szerint a név "adfcdc" egy számmal, amely 1-zel növekszik. Ezt az alapértelmezett nevet lecserélheti egy ön által választott névre.

    Screenshot of the text box to update the name of a resource.

  5. Az adatforrás kiválasztásához használja a legördülő listát. Ebben a cikkben válassza a DelimitedText lehetőséget.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. A rendszer egy társított szolgáltatás kiválasztását kéri. Hozzon létre egy új társított szolgáltatást, vagy válasszon ki egy meglévőt.

    Screenshot of the box to choose or create a linked service.

  7. A Forrásbeállítások területen igény szerint speciális forráskonfigurációkat állíthat be, beleértve az oszlop- és sorhatárolókat is.

    Screenshot of advanced source settings to set delimiters.

    Ha nem manuálisan szerkessze ezeket a forrásbeállításokat, azok az alapértelmezett értékre vannak állítva.

  8. A Tallózás gombbal válassza ki a forrásadatmappát.

    Screenshot of a folder icon to browse for a folder path.

  9. Miután kiválasztotta a mappa elérési útját, a Folytatás gombra kattintva állítsa be az adatcélt.

    Screenshot of the Continue button in the guided process to select data targets.

    A plusz (+) gombbal több forrásmappát is hozzáadhat. A többi forrásnak is ugyanazt a társított szolgáltatást kell használnia, amelyet már kiválasztott.

  10. Válasszon ki egy céltípusértéket a legördülő listával. Ebben a cikkben válassza az Azure SQL Database lehetőséget.

    Screenshot of a dropdown menu of all data target types.

  11. A rendszer egy társított szolgáltatás kiválasztását kéri. Hozzon létre egy új társított szolgáltatást, vagy válasszon ki egy meglévőt.

    Screenshot of the box to choose or create a linked service to your data target.

  12. Céltáblák esetén létrehozhat egy új céltáblát, vagy kiválaszthat egy meglévőt:

    • Céltábla létrehozásához válassza az Új entitások lapot, majd az Új táblák szerkesztése lehetőséget.

      Screenshot of the tab to create new tables for your target.

    • Meglévő tábla kijelöléséhez válassza a Meglévő entitások lapot, majd a jelölőnégyzet bejelölésével válasszon ki egy táblát. A táblázat adatainak megtekintéséhez használja az Előnézet gombot.

      Screenshot of the tab to choose tables for your target.

    Ha a céltábla meglévő tábláinak neve megegyezik, akkor alapértelmezés szerint a Meglévő entitások csoportban vannak kiválasztva. Ha nem, az Új entitások területen új, egyező nevű táblák jönnek létre. Emellett az Új táblák szerkesztése gombbal is szerkesztheti az új táblákat .

  13. A jelölőnégyzetek használatával több céltáblát is kiválaszthat az SQL-adatbázisból. Miután befejezte a céltáblák kiválasztását, válassza a Folytatás lehetőséget.

    Screenshot of the Continue button in the guided process to proceed to the next step.

  14. Megjelenik egy új lap a változásadatok rögzítéséhez. Ez a lap a CDC studio, ahol konfigurálhatja az új erőforrást.

    Screenshot of the change data capture studio.

    A rendszer automatikusan létrehoz egy új leképezést. A legördülő listák használatával frissítheti a leképezés forrástáblájának és céltáblájának kijelölését.

    Screenshot of the source-to-target mapping in the change data capture studio.

  15. A táblák kijelölése után a rendszer alapértelmezés szerint megfelelteti az oszlopokat az Automatikus megfeleltetés kapcsolóval. Az automatikus leképezés automatikusan leképezi az oszlopokat név szerint a fogadóban, felveszi az új oszlopmódosításokat a forrásséma fejlődésekor, és ezeket az információkat a támogatott fogadótípusokba alakítja.

    Ha automatikus leképezést szeretne használni, és nem szeretne oszlopleképezéseket módosítani, lépjen közvetlenül a 18. lépésre.

    Screenshot of the toggle for automatic mapping turned on.

    Ha engedélyezni szeretné az oszlopleképezéseket, jelölje ki a leképezéseket, és kapcsolja ki az Automatikus leképezés kapcsolót. Ezután válassza az Oszlopleképezések gombot a leképezések megtekintéséhez.

    Screenshot of mapping selection, the toggle for automatic mapping turned off, and the button for column mappings.

    Az Automatikus leképezés kapcsoló bekapcsolásával bármikor visszaállhat az automatikus leképezésre.

  16. Az oszlopleképezések megtekintése. A legördülő listák segítségével szerkesztheti az oszlopleképezéseket a leképezési módszerhez, a Forrás oszlophoz és a Cél oszlophoz.

    Screenshot of the page for editing column mappings.

    Ezen az oldalon a következőket teheti:

    • További oszlopleképezések hozzáadása az Új leképezés gombbal. A legördülő listák segítségével kijelölhet leképezési metódust, forrásoszlopot és céloszlopot.
    • Jelölje ki a Kulcsok oszlopot, ha nyomon szeretné követni a támogatott fogadótípusok törlési műveletét.
    • Az Adatok előnézete alatt a Frissítés gombra kattintva megjelenítheti, hogy az adatok hogyan néznek ki a célhoz.

    Screenshot of the button for adding column mappings, the dropdown list for mapping methods, the Keys column, and the Refresh button.

  17. Ha a leképezés befejeződött, a nyíl gombra kattintva térjen vissza a fő CDC-vászonra.

    Screenshot of the button to go back to the table mapping page.

  18. Egy CDC-összetevőben több forrás-cél leképezést is hozzáadhat. A Szerkesztés gombbal további adatforrásokat és célokat vehet fel. Ezután válassza az Új leképezés lehetőséget , és a legördülő listák használatával állítson be egy új forrást és célt. Az automatikus leképezést egymástól függetlenül is be- és kikapcsolhatja.

    Screenshot of the button to add new sources and the button to set a new source-to-target mapping.

  19. A leképezések befejezése után állítsa be a CDC késését a Késés beállítása gombbal.

    Screenshot of the Set Latency button at the top of the canvas.

  20. Válassza ki a CDC késését, majd kattintson az Alkalmaz gombra a módosítások elvégzéséhez.

    Alapértelmezés szerint a késés 15 percre van állítva. A cikkben szereplő példa a valós idejű beállítást használja a késéshez. A valós idejű késés folyamatosan, 1 percnél rövidebb időközönként veszi fel a forrásadatok változásait.

    Egyéb késések esetén (például ha 15 percet választ), a változásadat-rögzítés feldolgozni fogja a forrásadatokat, és felveszi a módosított adatokat az utolsó feldolgozott idő óta.

    Screenshot of the options for setting latency.

    Megjegyzés:

    Ha a támogatás ki van terjesztve a streamelési adatintegrációra (Azure Event Hubs és Kafka-adatforrások), a késés alapértelmezés szerint valós idejűre lesz állítva.

  21. Miután befejezte a CDC konfigurálását, válassza az Összes közzététele lehetőséget a módosítások közzétételéhez.

    Screenshot of the publish button at the top of the canvas.

    Megjegyzés:

    Ha nem teszi közzé a módosításokat, nem fogja tudni elindítani a CDC-erőforrást. A következő lépésben a Start gomb nem lesz elérhető.

  22. Válassza a Start elemet a változásadat-rögzítés futtatásához.

    Screenshot of the Start button at the top of the canvas.

A változásadatok rögzítésének monitorozása

  1. Nyissa meg a Figyelés panelt az alábbi módszerek valamelyikével:

    • Válassza a Monitorozás lehetőséget az Azure Portalon.

      Screenshot of the Monitor button in the Azure portal.

    • Válassza ki a CDC-tervező monitorozás ikont.

      Screenshot of the monitoring icon at the top of the CDC canvas.

  2. Válassza az Adatrögzítés módosítása (előzetes verzió) lehetőséget a CDC-erőforrások megtekintéséhez.

    Screenshot of the Change Data Capture button.

    Az Adatrögzítés módosítása panel a változásadat-rögzítés forrás- és céladatait, állapotát és utolsó feldolgozott adatait jeleníti meg.

    Screenshot of an overview of the change data capture monitoring page.

  3. A további részletek megtekintéséhez válassza ki a CDC nevét. Láthatja, hogy hány módosítást (beszúrást, frissítést vagy törlést) olvastak és írtak, valamint egyéb diagnosztikai információkat.

    Screenshot of the detailed monitoring of a selected change data capture.

    Ha több leképezést is beállít a módosítási adatrögzítésben, minden leképezés más színként jelenik meg. Jelölje ki a sávot az egyes leképezések részleteinek megtekintéséhez, vagy használja a diagnosztikát a panel alján.

    Screenshot of the detailed monitoring information for a change data capture with multiple source-to-target mappings.

    Screenshot of a detailed breakdown of each mapping in a change data capture artifact.

Kapcsolódó tartalom