Adatok másolása az SAP Business Warehouse-ból az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk bemutatja, hogyan használhatja az Azure Data Factory vagy a Synapse Analytics-folyamatokat az adatok az SAP Business Warehouse -ból (BW) az Open Hubon keresztül az Azure Data Lake Storage Gen2-be történő másolásához. Hasonló eljárással adatokat másolhat más támogatott fogadóadattárakba.

Tipp.

Az ADATOK AZ SAP BW-ből való másolásával kapcsolatos általános információkért, beleértve az SAP BW Open Hub-integrációt és a delta-kinyerési folyamatot, olvassa el az Adatok másolása az SAP Business Warehouse-ból az Open Hubon keresztül az Azure Data Factory használatával című témakört.

Előfeltételek

• Azure Data Factory vagy Synapse-munkaterület: Ha nem rendelkezik ilyen munkaterületekkel, kövesse az adat-előállító létrehozásához vagy a Synapse-munkaterület létrehozásához szükséges lépéseket.

• "Adatbázistábla" típusú SAP BW Open Hub Destination (OHD): Ha OHD-t szeretne létrehozni, vagy ellenőrizni szeretné, hogy az OHD megfelelően van-e konfigurálva a szolgáltatással való integrációhoz, tekintse meg a jelen cikk SAP BW Open Hub-célkonfigurációk című szakaszát.

• Az SAP BW-felhasználónak a következő engedélyekre van szüksége:

  • Távoli függvényhívások (RFC) és SAP BW engedélyezése.
  • Engedélyek a S_SDSAUTH engedélyezési objektum "Végrehajtás" tevékenységéhez.

• Saját üzemeltetésű integrációs modul (IR) az SAP .NET-összekötő 3.0-val. Kövesse az alábbi telepítési lépéseket:

  1. Telepítse és regisztrálja a 3.13-es vagy újabb verziójú, saját üzemeltetésű integrációs modult. (Ezt a folyamatot a cikk későbbi részében ismertetjük.)

  2. Töltse le a Microsoft .NET 3.0 64 bites SAP Csatlakozás orját az SAP webhelyéről, és telepítse ugyanazon a számítógépen, mint a saját üzemeltetésű integrációs modul. A telepítés során győződjön meg arról, hogy az Opcionális beállítási lépések párbeszédpanelen a Szerelvények telepítése a GAC-ba lehetőséget választja, ahogyan az alábbi képen látható:

     

Teljes másolat készítése az SAP BW Open Hubról

Az Azure Portalon nyissa meg a szolgáltatást. Válassza a Megnyitás az Azure Data Factory Studio megnyitása vagy a Synapse Studio csempe megnyitása lehetőséget a szolgáltatás felhasználói felületének külön lapon való megnyitásához.

1. A kezdőlapon válassza az Ingest lehetőséget az Adatok másolása eszköz megnyitásához.

2. A Tulajdonságok lapon válassza a Beépített másolási feladat lehetőséget a Tevékenység típusa csoportban, majd válassza a Futtatás egyszer lehetőséget a Tevékenység ütemezése vagy a Tevékenység ütemezése területen, majd válassza a Tovább gombot.

3. A Forrásadattár lapon válassza az + Új kapcsolat lehetőséget. Válassza az SAP BW Open Hub lehetőséget az összekötőgyűjteményből, majd válassza a Folytatás lehetőséget. Az összekötők szűréséhez írja be az SAP kifejezést a keresőmezőbe.

4. Az Új kapcsolat (SAP BW Open Hub) lapon kövesse az alábbi lépéseket egy új kapcsolat létrehozásához.

   1. Az integrációs modullistán keresztüli Csatlakozás válasszon ki egy meglévő saját üzemeltetésű integrációs modult. Vagy ha még nem rendelkezik ilyennel, hozzon létre egyet.

      Új saját üzemeltetésű integrációs modul létrehozásához válassza az +Új, majd a Saját üzemeltetésű lehetőséget. Adjon meg egy nevet, majd válassza a Tovább gombot. Válassza az Express telepítőt az aktuális számítógépre való telepítéshez, vagy kövesse a megadott manuális beállítási lépéseket.

      Az előfeltételekben leírtaknak megfelelően győződjön meg arról, hogy a Microsoft .NET 3.0-hoz készült SAP Csatlakozás or telepítve van ugyanazon a számítógépen, amelyen a saját üzemeltetésű integrációs modul fut.

   2. Adja meg az SAP BW-kiszolgáló nevét, a rendszer számát, az ügyfélazonosítót, a nyelvet (ha nem en), a felhasználónevet és a jelszót.

   3. Válassza a Kapcsolat tesztelése lehetőséget a beállítások érvényesítéséhez, majd válassza a Létrehozás lehetőséget.

   

   4. A Forrásadattár lapon válassza ki az újonnan létrehozott kapcsolatot a Csatlakozás ion blokkban.

   5. Az Open Hub-célhelyek kiválasztásának szakaszában keresse meg az SAP BW-ben elérhető Open Hub-célhelyeket. Az egyes célhelyek adatainak előnézetét az egyes sorok végén található előnézeti gombra kattintva tekintheti meg. Válassza ki az OHD-t az adatok másolásához, majd válassza a Tovább gombot.

   

5. Adjon meg egy szűrőt, ha szüksége van rá. Ha az OHD csak egyetlen adatátadási folyamatból (DTP) származó adatokat tartalmaz egyetlen kérelemazonosítóval, vagy biztos benne, hogy a DTP befejeződött, és ki szeretné másolni az adatokat, törölje a jelet az Utolsó kérelem kizárása jelölőnégyzetből a Speciális szakaszban. Az adatok előnézetét az Adatok előnézete gombra kattintva tekintheti meg.

   Ezekről a beállításokról a cikk SAP BW Open Hub Destination konfigurációs szakaszában olvashat bővebben. Ezután válassza a Tovább gombra.

   

6. A Céladattár lapon válassza a + Új kapcsolat>Az Azure Data Lake Storage Gen2>Folytatása lehetőséget.

7. Az Új kapcsolat (Azure Data Lake Storage Gen2) lapon kövesse az alábbi lépéseket a kapcsolat létrehozásához.

   1. Válassza ki a Data Lake Storage Gen2-kompatibilis fiókját a Név legördülő listából.
   2. Válassza a Létrehozás lehetőséget a kapcsolat létrehozásához.

   

8. A Céladattár lapon válassza ki az újonnan létrehozott kapcsolatot a Csatlakozás ion szakaszban, és adja meg a copyfromopenhub nevet kimeneti mappanévként. Ezután válassza a Tovább gombra.

   

9. A Fájlformátum beállítása lapon válassza a Tovább gombot az alapértelmezett beállítások használatához.

   

10. A Gépház lapon adja meg a tevékenység nevét, és bontsa ki a Speciális elemet. Adja meg az SAP BW-ből párhuzamosan betöltendő másolási párhuzamosság (például 5) értékét. Ezután válassza a Tovább gombra.

    

11. Az Összefoglalás lapon tekintse át a beállításokat. Ezután válassza a Tovább gombra.

    

12. Az Üzembe helyezés lapon válassza a Figyelés lehetőséget a folyamat figyeléséhez.

13. Figyelje meg, hogy a lap bal oldalán lévő Figyelés lap automatikusan ki van jelölve. A Folyamatfuttatások lap Folyamatnév oszlopában található hivatkozások segítségével megtekintheti a tevékenység részleteit, és újrafuttathatja a folyamatot.

14. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza ki a folyamatnév oszlopban lévő hivatkozásokat. Csak egy (másolási) tevékenység található a folyamatban, ezért csak egy bejegyzést lát. Ha vissza szeretne térni a folyamatfuttatások nézetre, válassza a tetején található Minden folyamatfuttatás hivatkozást. A lista frissítéséhez kattintson a Frissítés gombra.

    

15. Az egyes másolási tevékenységek végrehajtási részleteinek figyeléséhez válassza a Részletek hivatkozást, amely egy szemüveg ikon az egyes másolási tevékenységek ugyanazon sorában a tevékenységfigyelési nézetben. Az elérhető részletek közé tartozik a forrásból a fogadóba másolt adatkötet, az adatok átviteli sebessége, a végrehajtási lépések és az időtartam, valamint a használt konfigurációk.

    

16. Az egyes másolási tevékenységek maximális kérelemazonosítójának megtekintéséhez térjen vissza a tevékenységfigyelési nézethez, és válassza a Kimenet lehetőséget az egyes másolási tevékenységek ugyanazon sorában.

    

    

Növekményes másolat az SAP BW Open Hubról

Tipp.

Tekintse meg az SAP BW Open Hub-összekötő különbözeti kinyerési folyamatát , amelyből megtudhatja, hogy az SAP BW Open Hub-összekötő hogyan másolja a növekményes adatokat az SAP BW-ből. Ez a cikk az összekötők alapkonfigurációjának megértésében is segítséget nyújt.

Most is konfiguráljuk a növekményes másolást az SAP BW Open Hubról.

A növekményes másolás egy "magas vízjel" mechanizmust használ, amely a kérésazonosítón alapul. Ezt az azonosítót a DTP automatikusan létrehozza az SAP BW Nyílt központ célhelyén. Az alábbi ábrán ez a munkafolyamat látható:

A kezdőlapon válassza a Folyamatsablonok lehetőséget a Továbbiak felfedezése szakaszban a beépített sablon használatához.

1. Keresse meg az SAP BW-t , és válassza ki a növekményes példányt az SAP BW-ből az Azure Data Lake Storage Gen2-sablonba . Ez a sablon adatokat másol az Azure Data Lake Storage Gen2-be. Hasonló munkafolyamatot használhat más fogadótípusokba való másoláshoz.

2. A sablon főoldalán válassza ki vagy hozza létre a következő három kapcsolatot, majd válassza a Sablon használata lehetőséget az ablak jobb alsó sarkában.

   • Azure Blob Storage: Ebben az útmutatóban az Azure Blob Storage használatával tároljuk a magas vízjelet, amely a maximálisan másolt kérelemazonosító.
   • SAP BW Open Hub: Ez a forrás az adatok másolásához. A részletes konfigurációért tekintse meg az előző teljes másolási útmutatót.
   • Azure Data Lake Storage Gen2: Ez a fogadó az adatok másolásához. A részletes konfigurációért tekintse meg az előző teljes másolási útmutatót.

   

3. Ez a sablon létrehoz egy folyamatot a következő három tevékenységgel, és sikeres láncolatba állítja őket: Keresés, Adatok másolása és Web.

   Lépjen a folyamatparaméterek lapra. Láthatja az összes konfigurációt, amelyet meg kell adnia.

   

   • SAPOpenHubDestinationName: Adja meg az Open Hub tábla nevét az adatok másolásához.

   • Data_Destination_Container: Adja meg a cél Azure Data Lake Storage Gen2-tárolót, amelybe adatokat szeretne másolni. Ha a tároló nem létezik, a másolási tevékenység létrehoz egyet a végrehajtás során.

   • Data_Destination_Directory: Adja meg a mappa elérési útját az Azure Data Lake Storage Gen2-tároló alatt az adatok másolásához. Ha az elérési út nem létezik, a másolási tevékenység létrehoz egy útvonalat a végrehajtás során.

   • HighWatermarkBlobContainer: Adja meg a tárolót a magas vízjel értékének tárolásához.

   • HighWatermarkBlobDirectory: Adja meg a tároló alatti mappa elérési útját a magas vízjel értékének tárolásához.

   • HighWatermarkBlobName: Adja meg a blob nevét a magas vízjel értékének tárolásához, például requestIdCache.txt. A Blob Storage-ban lépjen a HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName megfelelő elérési útjára, például container/path/requestIdCache.txt. Blob létrehozása 0 tartalommal.

     

   • LogicAppURL: Ebben a sablonban a WebActivity használatával hívjuk meg az Azure Logic Appst a Blob Storage magas vízjelértékének beállításához. Vagy az Azure SQL Database használatával is tárolhatja. Az érték frissítéséhez használjon tárolt eljárástevékenységet.

     Először létre kell hoznia egy logikai alkalmazást az alábbi képen látható módon. Ezután illessze be a HTTP POST URL-címet.

     

     1. Nyissa meg az Azure Portalt. Válasszon ki egy új Logic Apps-szolgáltatást . Válassza az +Üres logikai alkalmazás lehetőséget a Logic Apps Tervező eléréséhez.

     2. Http-kérés fogadása esetén hozzon létre eseményindítót. Adja meg a HTTP-kérelem törzsét az alábbiak szerint:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Blob létrehozása művelet hozzáadása. Mappa elérési útja és blobneve esetén használja ugyanazokat az értékeket, amelyeket korábban a HighWatermarkBlobContainer+HighWatermarkBlobDirectory és a HighWatermarkBlobName fájlban konfigurált.

     4. Válassza a Mentés parancsot. Ezután másolja ki a HTTP POST URL-cím értékét a folyamatban való használathoz.

4. A folyamatparaméterek megadása után válassza a Hibakeresés>befejezése lehetőséget a futtatás meghívásához a konfiguráció érvényesítéséhez. Vagy válassza a Közzététel lehetőséget az összes módosítás közzétételéhez, majd a Futtatás végrehajtásához válassza az Eseményindító hozzáadása lehetőséget.

SAP BW Open Hub-célkonfigurációk

Ez a szakasz bemutatja az SAP BW-oldal konfigurációját az SAP BW Open Hub-összekötő használatával az adatok másolásához.

Delta-kinyerés konfigurálása az SAP BW-ben

Ha előzménymásolatra és növekményes másolatra vagy csak növekményes másolatra van szüksége, konfigurálja a delta-kinyerést az SAP BW-ben.

1. Hozza létre az Open Hub célhelyet. Létrehozhatja az OHD-t az SAP Transaction RSA1-ben, amely automatikusan létrehozza a szükséges átalakítási és adatátviteli folyamatot. Használja a következő beállításokat:

   • ObjectType: Bármilyen objektumtípust használhat. Itt az InfoCube-t használjuk példaként.
   • Céltípus: Adatbázistábla kiválasztása.
   • A tábla kulcsa: Válassza a Technikai kulcsot.
   • Kinyerés: Válassza az Adatok megőrzése és rekordok beszúrása táblázatba lehetőséget.

   

   

   Növelheti a párhuzamosan futó SAP-munkafolyamatok számát a DTP-hez:

   

2. A DTP ütemezése folyamatláncokban.

   A kocka delta DTP-je csak akkor működik, ha a szükséges sorok nem lettek tömörítve. Győződjön meg arról, hogy a BW-kocka tömörítése nem fut a DTP előtt az Open Hub táblába. Ennek legegyszerűbb módja a DTP integrálása a meglévő folyamatláncokba. Az alábbi példában a DTP (az OHD-hoz) a Beállítás (összesítő összesítés) és az Összecsukás (kockatömörítés) lépések közötti folyamatláncba kerül.

   

Teljes kinyerés konfigurálása az SAP BW-ben

A delta kinyerése mellett előfordulhat, hogy ugyanannak az SAP BW InfoProvidernek a teljes kinyerése is szükséges. Ez általában akkor érvényes, ha teljes másolást szeretne végezni, de nem növekményesen, vagy ha újra szeretné szinkronizálni a delta-kinyeréseket.

Ugyanahhoz az OHD-hez nem lehet több DTP. Ezért a változás kinyerése előtt létre kell hoznia egy további OHD-t.

Teljes terhelésű OHD esetén válasszon más lehetőségeket, mint a delta kinyerése esetén:

• Az OHD-ban: Az Adattörlés és a Rekordok beszúrása beállítással állítsa be a kinyerési beállítást. Ellenkező esetben az adatok többször lesznek kinyerve, amikor megismétli a DTP-t egy BW-folyamatláncban.

• A DTP-ben: Állítsa be a kinyerési módot teljesre. Az automatikusan létrehozott DTP-t az OHD létrehozása után azonnal meg kell változtatnia a Deltáról Teljesre, ahogy a képen látható:

  

• A BW Open Hub-összekötőben: Kapcsolja ki az utolsó kérés kizárását. Ellenkező esetben semmi sem lesz kinyerve.

Általában manuálisan futtatja a teljes DTP-t. Vagy létrehozhat egy folyamatláncot a teljes DTP-hez. Ez általában egy különálló lánc, amely független a meglévő folyamatlánctól. Mindkét esetben győződjön meg arról, hogy a DTP befejeződött, mielőtt a másolással megkezdené a kinyeréseket. Ellenkező esetben csak részleges adatok lesznek másolva.

Delta-kinyerés első futtatása

Az első delta kinyerése gyakorlatilag teljes extrakció. Alapértelmezés szerint az SAP BW Open Hub-összekötő kizárja az utolsó kérést az adatok másolásakor. Az első különbözet-kinyeréshez a másolási tevékenység nem nyer ki adatokat, amíg egy későbbi DTP nem hoz létre változásadatokat a táblában egy külön kérelemazonosítóval. Ezt a forgatókönyvet kétféleképpen lehet elkerülni:

• Kapcsolja ki az utolsó kérelem kizárása beállítást az első delta-kinyeréshez. A delta kinyerésének első indítása előtt győződjön meg arról, hogy az első delta DTP befejeződött.
• Használja az eljárást a delta kinyerésének újraszinkronizálásához a következő szakaszban leírtak szerint.

A delta kinyerésének újraszinkronizálása

A következő forgatókönyvek módosítják az ADATOKAT AZ SAP BW-kockákban, de a delta DTP nem veszi figyelembe:

• SAP BW szelektív törlés (sorok szűrési feltétel használatával)
• SAP BW-kérések törlése (hibás kérések esetén)

Az SAP Open Hub-célhely nem adatpiac által vezérelt adatcél (2015 óta minden SAP BW-támogatási csomagban). Így az OHD adatainak módosítása nélkül is törölhet adatokat egy kockából. Ezután újra kell szinkronizálnia a kocka adatait a szolgáltatással:

1. Teljes kinyerés futtatása a szolgáltatásban (az SAP teljes DTP-jének használatával).
2. Törölje a delta DTP Open Hub táblájának összes sorát.
3. Állítsa be a delta DTP állapotát beolvasásra.

Ezt követően az összes további delta DTP és delta extrakció a várt módon működik.

A delta DTP lekéréses állapotának beállításához az alábbi beállítással manuálisan futtathatja a delta DTP-t:

Nincs adatátvitel; Delta állapota a forrásban: beolvasva

Kapcsolódó tartalom

Tudnivalók az SAP BW Open Hub-összekötő támogatásáról:

SAP Business Warehouse Open Hub-összekötő