Az SAP CDC képességeinek áttekintése és architektúrája
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ismerje meg az Sap change data capture (CDC) képességeit az Azure Data Factoryben, és ismerje meg az architektúrát.
Az Azure Data Factory egy ETL- és ELT-adatintegrációs platform szolgáltatásként (PaaS). Az SAP-adatintegrációhoz a Data Factory jelenleg hat általános rendelkezésre állási összekötőt kínál:
Adatkinyerési igények
A Data Factory SAP-összekötői csak kötegekben nyerik ki az SAP-forrásadatokat. Minden köteg ugyanúgy dolgozza fel a meglévő és az új adatokat. Kötegelt módban végzett adatkinyerés esetén a rendszer nem azonosítja a meglévő és az új adatkészletek közötti változásokat. Ez a kinyerési mód nem optimális, ha nagy adatkészletekkel rendelkezik, például olyan táblákkal, amelyek több millió vagy milliárd rekordot tartalmaznak, amelyek gyakran változnak.
Az SAP-adatok másolatát naprakészen és naprakészen tarthatja a teljes adatkészlet gyakori kinyerésével, de ez a megközelítés költséges és nem hatékony. Manuális, korlátozott kerülő megoldással is kinyerheti a többnyire új vagy frissített rekordokat. A vízjelezés nevű eljárásban a kinyeréshez időbélyegoszlopot kell használni, monoton módon növelni kell az értékeket, és folyamatosan nyomon kell követni a legmagasabb értéket az utolsó kinyerés óta. Egyes táblákban azonban nincs olyan oszlop, amelyet vízjelezéshez használhat. Ez a folyamat nem azonosítja a törölt rekordokat az adathalmaz módosításaként.
SAP CDC-képességek
A Microsoft ügyfelei azt jelzik, hogy olyan összekötőre van szükségük, amely csak a két adatkészlet közötti különbözetet tudja kinyerni. Az adatokban a változás az adathalmaz olyan változása, amely az adathalmaz frissítésének, beszúrásának vagy törlésének eredménye. A delta-kinyerési összekötő a legtöbb SAP-rendszerben megtalálható SAP-változási adatrögzítési (CDC) funkciót használja az adathalmazok változásának meghatározásához. A Data Factory SAP CDC-képességei az SAP Operational Data Provisioning (ODP) keretrendszer használatával replikálják a különbözetet egy SAP-forrásadatkészletben.
Ez a cikk az SAP CDC képességeinek magas szintű architektúráját ismerteti az Azure Data Factoryben. További információ az SAP CDC képességeiről:
- Előfeltételek és beállítás
- Saját üzemeltetésű integrációs modul beállítása
- Társított szolgáltatás és forrásadatkészlet beállítása
- A megoldás kezelése
Az SAP CDC képességeinek használata
Az SAP CDC-összekötő az SAP CDC képességeinek magja. Az ODP-t támogató összes SAP-rendszerhez csatlakozhat, beleértve az SAP ECC-t, az SAP S/4HANA-t, az SAP BW-t és az SAP BW/4HANA-t. A megoldás vagy közvetlenül az alkalmazásrétegen, vagy közvetetten egy SAP Fekvő átalakítási replikációs kiszolgálón (SLT) keresztül működik proxyként. Nem támaszkodik vízjelezésre az SAP-adatok teljes vagy növekményes kinyeréséhez. Az SAP CDC-összekötő által kinyert adatok nem csak fizikai táblákat, hanem logikai objektumokat is tartalmaznak, amelyek a táblák használatával jönnek létre. A táblaalapú objektumokra példa az SAP Advanced Business Application Programming (ABAP) Core Data Services (CDS) nézet.
Használja az SAP CDC-összekötőt a Data Factory olyan funkcióival, mint az adatfolyam-tevékenységek leképezése, valamint az alacsony késésű SAP CDC-replikációs megoldáshoz tartozó ablakos eseményindítók használata ön által felügyelt folyamatokban.
Az SAP CDC architektúrája
Az Azure Data Factory SAP CDC-megoldása az SAP és az Azure összekötője. Az SAP oldalán található az SAP ODP-összekötő, amely meghívja az ODP API-t a standard távoli függvényhívási (RFC) modulokon keresztül a teljes és a delta nyers SAP-adatok kinyeréséhez.
Az Azure-oldal tartalmazza a leképezési adatfolyamot, amely átalakítja és betölti az SAP-adatokat a leképezési adatfolyamok által támogatott adatgyűjtőkbe. Ezek közül néhány olyan tárolási célhely, mint az Azure Data Lake Storage Gen2 vagy az olyan adatbázisok, mint az Azure SQL Database vagy az Azure Synapse Analytics. A leképezési adatfolyam-tevékenység az eredményeket a Data Lake Storage Gen2-ben is betöltheti delta formátumban. A Delta Lake Time Travel funkcióval pillanatképeket készíthet az SAP-adatokról egy adott időszakra vonatkozóan. A folyamatokat és az adatfolyamok leképezését gyakran futtathatja a Data Factory csúszkálóablak-eseményindítójával, amellyel alacsony késéssel és vízjelek használata nélkül replikálhatja az SAP-adatokat az Azure-ban.
Első lépésként hozzon létre egy SAP CDC-hez társított szolgáltatást, egy SAP CDC-forrásadatkészletet és egy leképezési adatfolyam-tevékenységet tartalmazó folyamatot, amelyben az SAP CDC-forrásadatkészletet használja. Az ADATOK SAP-ból való kinyeréséhez egy saját üzemeltetésű integrációs modulra van szükség, amelyet egy helyszíni számítógépre vagy egy olyan virtuális gépre (virtuális gépre) kell telepíteni, amely az SAP-forrásrendszerekre vagy az SLT-kiszolgálóra pillant. A leképezési adatfolyam-tevékenység egy kiszolgáló nélküli Azure Databricks- vagy Apache Spark-fürtön vagy egy Azure-integrációs modulon fut. Átmeneti tárolót kell konfigurálni az adatfolyam-leképezési tevékenységben, hogy a saját üzemeltetésű integrációs modul zökkenőmentesen működjön a leképezési adatfolyam-integrációs modullal.
Az SAP CDC-összekötő az SAP ODP-keretrendszer használatával nyer ki különböző adatforrástípusokat, például:
- SAP-kinyerők, eredetileg az SAP ECC-ből való adatok kinyerésére és az SAP BW-be való betöltésére készültek
- ABAP CDS-nézetek, az SAP S/4HANA új adatkinyerési szabványa
- InfoProviders és InfoObjects adathalmazok az SAP BW-ben és az SAP BW/4HANA-ban
- SAP-alkalmazástáblák, ha SAP LT replikációs kiszolgálót (SLT) használ proxyként
Ebben a folyamatban az SAP-adatforrások szolgáltatók. A szolgáltatók SAP-rendszereken futnak, hogy teljes vagy növekményes adatokat készítsenek egy operatív változási üzenetsorban (ODQ). A leképezési adatfolyam-forrás az ODQ előfizetője .
Mivel az ODP teljesen elválasztja a szolgáltatókat az előfizetőktől, a szolgáltatói konfigurációkat kínáló SAP-dokumentációk előfizetőként a Data Factoryre vonatkoznak. További információ az ODP-ről: Bevezetés az operatív adatkiépítésbe.