Több objektum replikálása az SAP-ból AZ SAP CDC-n keresztül
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk egy megoldássablont ismertet, amellyel több ODP-objektum replikálható az SAP-ból SAP CDC-összekötőn keresztül az Azure Data Lake Gen2-be Delta formátumban, kulcspartícióval.
A megoldássablon ismertetése
Ez a sablon egy külső vezérlőfájlt olvas be json formátumban a tárházban, amely tartalmazza az SAP ODP-környezeteket, az SAP ODP-objektumokat és az SAP-forrásrendszer kulcsoszlopait, valamint az Azure Data Lake Gen2 céltárolójából származó tárolókat, mappákat és partíciókat. Ezután átmásolja az SAP ODP-objektumokat az SAP rendszerből az Azure Data Lake Gen2-be Delta formátumban.
A sablon három tevékenységet tartalmaz:
- A Lookup lekéri a betöltendő SAP ODP-objektumok listáját és a céltár elérési útját egy külső vezérlőfájlból az Azure Data Lake Gen2-tárolóban.
- A ForEach lekéri az SAP ODP-objektumok listáját a keresési tevékenységből, és iterálja az egyes objektumokat a leképezési adatfolyam-tevékenységhez.
- A leképezési adatfolyam minden SAP ODP-objektumot replikál az SAP-rendszerből az Azure Data Lake Gen2-be Delta formátumban. Első futtatáskor a kezdeti teljes terhelést elvégzi, majd automatikusan növekményes terhelést végez a későbbi futtatásokban. Az Azure Data Lake Gen2 módosításait Delta formátumban egyesíti.
Ebben a sablonban json formátumú külső vezérlőfájlra van szükség. A vezérlőfájl sémája az alábbi.
- A checkPointKey az ADF-ben a módosított adatrögzítés ellenőrzőpontjának kezeléséhez szükséges egyéni kulcs. További részleteket itt talál.
- A sapContext a forrás SAP-rendszer SAP ODP-környezete. További részleteket itt talál.
- A sapObjectName az SAP-rendszerből betöltendő SAP ODP-objektum neve. További részleteket itt talál.
- A sapRunMode azt határozza meg, hogyan szeretné betölteni az SAP-objektumot. Lehet fullLoad, incrementalLoad vagy fullAndIncrementalLoad.
- A sapKeyColumns az sap ODP-objektumok kulcsoszlopnevei, amelyek a deduplikálást használják a leképezési adatfolyamban.
- Az sapPartitions azoknak a partíciófeltételeknek a listája, amelyek külön kinyerési folyamatokat eredményeznek a csatlakoztatott SAP-rendszerben.
- A deltaContainer a tároló neve az Azure Data Lake Gen2-ben céltárolóként.
- a deltaFolder a mappa neve az Azure Data Lake Gen2-ben céltárolóként.
- A deltaKeyColumns oszlopokkal állapíthatja meg, hogy a forrásból származó sorok megegyeznek-e a fogadó sorával, amikor frissíteni vagy törölni szeretne egy sort.
- A deltaPartition az az oszlop, amellyel partíciókat hozhat létre az oszlop minden egyedi értékéhez, hogy adatokat írjon Delta formátumban az Azure Data Lake Gen2-ben az adatfolyam leképezése által használt Spark-fürtön keresztül. További részleteket itt talál
A minta vezérlőfájl az alábbi módon érhető el:
[
{
"checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
"sapContext": "ABAP_CDS",
"sapObjectName": "ZPERFCDPOS$F",
"sapRunMode": "fullAndIncrementalLoad",
"sapKeyColumns": [
"TABKEY"
],
"sapPartitions": [
[{
"fieldName": "TEXTCASE",
"sign": "I",
"option": "EQ",
"low": "1"
},
{
"fieldName": "TEXTCASE",
"sign": "I",
"option": "EQ",
"low": "X"
}]
],
"deltaContainer":"delta",
"deltaFolder":"ZPERFCDPOS",
"deltaKeyColumns":["TABKEY"],
"deltaPartition":"TEXTCASE",
"stagingStorageFolder":"stagingcontainer/stagingfolder"
},
{
"checkPointKey":"CheckPointFor_Z0131",
"sapContext": "SAPI",
"sapObjectName": "Z0131",
"sapRunMode": "incrementalLoad",
"sapKeyColumns": [
"ID"
],
"sapPartitions": [],
"deltaContainer":"delta",
"deltaFolder":"Z0131",
"deltaKeyColumns":["ID"],
"deltaPartition":"COMPANY",
"stagingStorageFolder":"stagingcontainer/stagingfolder"
}
]
A megoldássablon használata
Hozzon létre és töltsön fel egy vezérlőfájlt json formátumban az Azure Data Lake Gen2-be céltárolóként. A vezérlőfájl tárolásának alapértelmezett tárolója a demó, az alapértelmezett vezérlőfájl neve pedig SapToDeltaParameters.json.
Lépjen a Több tábla replikálása az SAP ODP-ből az Azure Data Lake Storage Gen2-be Delta formátumsablonban , és kattintson rá.
Kattintson a Folytatás gombra, és adja meg forrásként az SAP-rendszerhez csatlakoztatott társított szolgáltatást, célként pedig az Azure Data Lake Gen2-hez csatlakoztatott társított szolgáltatást. További információt az SAP CDC társított szolgáltatásáról itt talál. Vegye figyelembe, hogy a külső vezérlőfájlt az Azure Data Lake Gen2 ugyanazon fiókjába kell feltölteni.
Kattintson a Sablon használata gombra, és látni fogja, hogy a folyamat készen áll a használatra.
