Översikt och arkitektur för SAP CDC-funktionerna
GÄLLER FÖR:
Azure Data Factory Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
Lär dig mer om funktionerna för SAP-ändringsdatainsamling (CDC) i Azure Data Factory och förstå arkitekturen.
Azure Data Factory är en ETL- och ELT-dataintegreringsplattform som en tjänst (PaaS). För SAP-dataintegrering erbjuder Data Factory för närvarande sex anslutningsappar för allmän tillgänglighet:
Dataextraheringsbehov
SAP-anslutningsapparna i Data Factory extraherar endast SAP-källdata i batchar. Varje batch bearbetar befintliga och nya data på samma sätt. Vid extrahering av data i batchläge identifieras inte ändringar mellan befintliga och nya datauppsättningar. Den här typen av extraheringsläge är inte optimal när du har stora datauppsättningar som tabeller som har miljontals eller miljarder poster som ändras ofta.
Du kan hålla din kopia av SAP-data fräsch och uppdaterad genom att ofta extrahera den fullständiga datamängden, men den här metoden är dyr och ineffektiv. Du kan också använda en manuell, begränsad lösning för att extrahera mestadels nya eller uppdaterade poster. I en process som kallas vattenstämpel kräver extrahering att du använder en tidsstämpelkolumn, monotont ökar värden och kontinuerligt spårar det högsta värdet sedan den senaste extraheringen. Men vissa tabeller har ingen kolumn som du kan använda för vattenstämpel. Den här processen identifierar inte heller en borttagen post som en ändring i datamängden.
SAP CDC-funktioner
Microsoft-kunder anger att de behöver en anslutningsapp som bara kan extrahera delta mellan två datauppsättningar. I data är ett delta en ändring i en datauppsättning som är resultatet av en uppdatering, infogning eller borttagning i datauppsättningen. En deltaextraheringsanslutning använder funktionen SAP change data capture (CDC) som finns i de flesta SAP-system för att fastställa deltat i en datamängd. SAP CDC-funktionerna i Data Factory använder RAMVERKet SAP Operational Data Provisioning (ODP) för att replikera deltat i en SAP-källdatauppsättning.
Den här artikeln innehåller en övergripande arkitektur för SAP CDC-funktionerna i Azure Data Factory. Få mer information om SAP CDC-funktionerna:
- Krav och installation
- Konfigurera en lokalt installerad integrationskörning
- Konfigurera en länkad tjänst och källdatauppsättning
- Hantera din lösning
Så här använder du SAP CDC-funktionerna
SAP CDC-anslutningsappen är kärnan i SAP CDC-funktionerna. Den kan ansluta till alla SAP-system som stöder ODP, vilket inkluderar SAP ECC, SAP S/4HANA, SAP BW och SAP BW/4HANA. Lösningen fungerar antingen direkt på programlagret eller indirekt via en SAP Landscape Transformation Replication Server (SLT) som proxy. Den förlitar sig inte på vattenstämpel för att extrahera SAP-data helt eller inkrementellt. De data som SAP CDC-anslutningsappen extraherar innehåller inte bara fysiska tabeller utan även logiska objekt som skapas med hjälp av tabellerna. Ett exempel på ett tabellbaserat objekt är en vyn SAP Advanced Business Application Programming (ABAP) Core Data Services (CDS).
Använd SAP CDC-anslutningsappen med Data Factory-funktioner som att mappa dataflödesaktiviteter och utlösare för rullande fönster för en SAP CDC-replikeringslösning med låg latens i en självhanterad pipeline.
SAP CDC-arkitekturen
SAP CDC-lösningen i Azure Data Factory är en anslutningsapp mellan SAP och Azure. SAP-sidan innehåller SAP ODP-anslutningsappen som anropar ODP-API:et via RFC-moduler (Remote Function Call) för att extrahera fullständiga och delta råa SAP-data.
Azure-sidan innehåller dataflödet för mappning som kan transformera och läsa in SAP-data till alla datamottagare som stöds genom att mappa dataflöden. Några av dessa alternativ är lagringsmål som Azure Data Lake Storage Gen2 eller databaser som Azure SQL Database eller Azure Synapse Analytics. Aktiviteten för dataflödesmappning kan också läsa in resultatet i Data Lake Storage Gen2 i deltaformat. Du kan använda funktionen Delta Lake Time Travel för att skapa ögonblicksbilder av SAP-data under en viss period. Du kan köra din pipeline och mappa dataflöden ofta med hjälp av en utlösare för rullande Data Factory-fönster för att replikera SAP-data i Azure med låg svarstid och utan att använda vattenstämpel.
Kom igång genom att skapa en länkad SAP CDC-tjänst, en SAP CDC-källdatauppsättning och en pipeline med en dataflödesaktivitet för mappning där du använder SAP CDC-källdatauppsättningen. För att extrahera data från SAP krävs en lokalt installerad integrationskörning som du installerar på en lokal dator eller på en virtuell dator (VM) som har en siktlinje för dina SAP-källsystem eller din SLT-server. Dataflödesaktiviteten för mappning körs på ett serverlöst Azure Databricks- eller Apache Spark-kluster eller på en Azure-integrationskörning. En mellanlagring krävs för att konfigureras i mappning av dataflödesaktivitet så att din lokala integrationskörning fungerar sömlöst med mappning av dataflödesintegreringskörning.
SAP CDC-anslutningsappen använder SAP ODP-ramverket för att extrahera olika typer av datakällor, inklusive:
- SAP-extraktorer, som ursprungligen skapades för att extrahera data från SAP ECC och läsa in dem i SAP BW
- ABAP CDS-vyer, den nya dataextraheringsstandarden för SAP S/4HANA
- InfoProviders- och InfoObjects-datauppsättningar i SAP BW och SAP BW/4HANA
- SAP-programtabeller när du använder en SAP LT-replikeringsserver (SLT) som proxy
I den här processen är SAP-datakällorna leverantörer. Leverantörerna kör på SAP-system för att producera antingen fullständiga eller inkrementella data i en operativ deltakö (ODQ). Dataflödeskällan för mappning är prenumerant på ODQ.
Eftersom ODP helt frikopplar leverantörer från prenumeranter gäller all SAP-dokumentation som erbjuder providerkonfigurationer för Data Factory som prenumerant. Mer information om ODP finns i Introduktion till driftdataetablering.