Kopírování dat ze SAP Business Warehouse pomocí Azure Data Factory nebo synapse Analytics

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

v tomto článku se dozvíte, jak pomocí Azure Data Factory nebo Synapse analytických kanálů kopírovat Data z SAP Business Warehouse (černobíle) prostřednictvím Open Hub pro Azure Data Lake Storage Gen2. Podobný proces můžete použít ke kopírování dat do jiných podporovaných úložišť dat jímky.

Požadavky

• Azure Data Factory nebo synapse pracovní prostor: Pokud ho nemáte, postupujte podle pokynů k Vytvoření datové továrny nebo Vytvořte pracovní prostor synapse.

• SAP BW OHD (cílové umístění centra) s cílovým typem "databázová tabulka": Pokud chcete vytvořit OHD nebo ověřit, že je váš OHD správně nakonfigurovaný pro integraci se službou, přečtěte si část SAP BW otevřít cílové konfigurace centra v tomto článku.

• SAP BW uživatel potřebuje následující oprávnění:

  • Autorizace pro volání funkce Remote Functions (RFC) a SAP BW.
  • Oprávnění k aktivitě Execute objektu autorizace S_SDSAUTH .

• Místní prostředí Integration runtime (IR) s konektorem SAP .NET Connector 3,0. Postupujte podle těchto kroků instalace:

  1. Nainstalujte a zaregistrujte místní prostředí Integration runtime, verze 3,13 nebo novější. (Tento postup je popsán dále v tomto článku.)

  2. Stáhněte si z webu SAP konektor 64-bit SAP pro Microsoft .net 3,0 a nainstalujte ho do stejného počítače jako prostředí IR v místním prostředí. Během instalace se ujistěte, že jste v dialogovém okně volitelné instalační kroky vybrali možnost instalovat sestavení do mezipaměti GAC , jak ukazuje následující obrázek:

     

Provedení úplné kopie z SAP BW otevřeném centru

V Azure Portal přejdete do služby. Vyberte otevřít na dlaždici otevřít Azure Data Factory Studio nebo otevřít synapse Studio a otevřete uživatelské rozhraní služby na samostatné kartě.

1. Na domovské stránce vyberte ingesta a otevřete nástroj kopírování dat.

2. Na stránce vlastnosti vyberte v části typ úlohy možnost předdefinovaná úloha kopírování a v části úkol tempo nebo plán úlohy zvolte Spustit znovu a pak vyberte Další.

3. Na stránce zdrojové úložiště dat vyberte + nové připojení. Vyberte SAP BW otevřít rozbočovač z Galerie konektorů a pak vyberte pokračovat. Chcete-li filtrovat konektory, můžete do vyhledávacího pole zadat SAP .

4. Na stránce nové připojení (SAP BW otevřít centrum) vytvořte nové připojení pomocí následujícího postupu.

   1. v seznamu Připojení prostřednictvím prostředí integration runtime vyberte existující prostředí IR v místním prostředí. Nebo ho můžete vytvořit, pokud ho ještě nemáte.

      Pokud chcete vytvořit nový prostředí IR v místním prostředí, vyberte + Nový a pak vyberte v místním prostředí. Zadejte název a potom vyberte Další. Vyberte expresní instalaci , kterou chcete nainstalovat na aktuální počítač, nebo postupujte podle uvedených kroků Ruční instalace .

      Jak je uvedeno v části požadavky, ujistěte se, že máte konektor SAP pro Microsoft .NET 3,0 nainstalovaný na stejném počítači, na kterém běží prostředí IR pro místní hostování.

   2. Zadejte název SAP BW serveru, číslo systému, ID klienta, jazyk (Pokud je jiný než EN), uživatelské jméno a heslo.

   3. Vyberte Test připojení , abyste ověřili nastavení, a pak vyberte vytvořit.

   

   4. Na stránce zdrojové úložiště dat vyberte nově vytvořené připojení v bloku připojení .

   5. V části vyberte možnost otevřít cíle centra a procházejte v otevřených umístěních centra, která jsou k dispozici ve vašem SAP BW. Data v jednotlivých umístěních můžete zobrazit tak, že vyberete tlačítko Náhled na konci každého řádku. Vyberte OHD, ze kterých se mají kopírovat data, a pak vyberte Další.

   

5. Určete filtr, pokud ho potřebujete. Pokud vaše OHD obsahuje jenom data z jednoho procesu přenosu dat (DTP) s jediným ID žádosti, nebo jste si jisti, že je váš DTP dokončený a že chcete data zkopírovat, zrušte zaškrtnutí políčka vyloučit poslední požadavek v části Upřesnit . Náhled dat si můžete zobrazit tak, že vyberete tlačítko Náhled dat .

   Další informace o těchto nastaveních najdete v části SAP BW otevřít cílové konfigurace centra v tomto článku. Pak vyberte Další.

   

6. na stránce cílové úložiště dat vyberte + nové připojení > Azure Data Lake Storage Gen2 > pokračovat.

7. na stránce nové připojení (Azure Data Lake Storage Gen2) postupujte podle těchto kroků a vytvořte připojení.

   1. v rozevíracím seznamu název vyberte účet s podporou Data Lake Storage Gen2.
   2. Vyberte vytvořit a vytvořte připojení.

   

8. Na stránce cílové úložiště dat vyberte nově vytvořené připojení v části připojení a jako název výstupní složky zadejte copyfromopenhub . Pak vyberte Další.

   

9. Na stránce Nastavení formátu souboru vyberte možnost Další a použijte výchozí nastavení.

   

10. na stránce Nastavení zadejte název úlohy a rozbalte položku upřesnit. Zadejte hodnotu pro úroveň kopírování paralelismus , jako je například 5 pro načtení z SAP BW paralelně. Pak vyberte Další.

    

11. Na stránce Souhrn zkontrolujte nastavení. Pak vyberte Další.

    

12. Na stránce nasazení vyberte monitorovat a monitorujte kanál.

13. Všimněte si, že se automaticky vybere karta monitorování na levé straně stránky. Pomocí odkazů ve sloupci název kanálu na stránce spuštění kanálu můžete zobrazit podrobnosti o aktivitě a znovu spustit kanál.

14. Pokud chcete zobrazit spuštění aktivit související se spuštěním kanálu, vyberte odkazy pod sloupcem název kanálu . Kanál obsahuje pouze jednu aktivitu (aktivita kopírování), takže se zobrazí pouze jedna položka. Pokud chcete přejít zpátky k zobrazení spuštění kanálu, vyberte odkaz všechny spuštěné kanály v horní části. Seznam můžete aktualizovat kliknutím na Aktualizovat.

    

15. Chcete-li monitorovat podrobnosti o spuštění každé aktivity kopírování, vyberte odkaz Podrobnosti , což je ikona brýlí na stejném řádku každé aktivity kopírování v zobrazení monitorování aktivity. Dostupné podrobnosti zahrnují datový svazek zkopírovaný ze zdroje do jímky, propustnosti dat, postup provedení a dobu trvání a použité konfigurace.

    

16. Chcete-li zobrazit maximální ID žádosti každé aktivity kopírování, vraťte se zpět do zobrazení monitorování aktivit a vyberte výstup na stejném řádku každé aktivity kopírování.

    

    

Přírůstková kopie z SAP BW otevřeném centru

Teď budeme pokračovat v konfiguraci přírůstkové kopie z SAP BW otevřeném centru.

Přírůstkové kopírování používá mechanismus vysoké meze, který je založen na ID žádosti. Toto ID se automaticky vygeneruje v SAP BW otevřeném cíli centra DTP. Tento pracovní postup znázorňuje následující diagram:

Na domovské stránce vyberte v části Vyhledat více možnost šablony kanálu , aby se použila předdefinovaná šablona.

1. vyhledejte SAP BW , kde můžete najít a vybrat přírůstkovou kopii z SAP BW na šablonu Azure Data Lake Storage Gen2 . tato šablona kopíruje data do Azure Data Lake Storage Gen2. Podobný pracovní postup můžete použít ke kopírování na jiné typy jímky.

2. Na hlavní stránce šablony vyberte nebo vytvořte následující tři připojení a pak vyberte použít tuto šablonu v pravém dolním rohu okna.

   • Azure Blob Storage: v tomto návodu používáme úložiště objektů BLOB v Azure k uložení horní meze, což je maximální kopírovaný identifikátor žádosti.
   • SAP BW otevřené centrum: Jedná se o zdroj, ze kterého se mají kopírovat data. Podrobnou konfiguraci najdete v předchozím podrobném návodu k úplnému kopírování.
   • Azure Data Lake Storage Gen2: toto je jímka, do které se mají kopírovat Data. Podrobnou konfiguraci najdete v předchozím podrobném návodu k úplnému kopírování.

   

3. Tato šablona vygeneruje kanál s následujícími třemi aktivitami a provede jejich zřetězení při úspěchu: vyhledávání, kopírování dat a webu.

   Přejít na kartu parametry kanálu. Zobrazí se všechny konfigurace, které je třeba zadat.

   

   • SAPOpenHubDestinationName: Zadejte název tabulky Open Hub, ze které se budou kopírovat data.

   • Data_Destination_Container: Zadejte cílový kontejner Azure Data Lake Storage Gen2, do které se budou kopírovat data. Pokud kontejner neexistuje, aktivita kopírování ho vytvoří během provádění.

   • Data_Destination_Directory: Zadejte cestu ke složce v kontejneru Azure Data Lake Storage Gen2, do které se budou kopírovat data. Pokud cesta neexistuje, aktivita kopírování vytvoří cestu během provádění.

   • HighWatermarkBlobContainer: Zadejte kontejner, do něj který se má uložit hodnota nejvyšší hodnoty vodoznaku.

   • HighWatermarkBlobDirectory: Zadejte cestu ke složce pod kontejnerem, do které se má uložit hodnota vysoké hodnoty vodoznaku.

   • HighWatermarkBlobName: Zadejte název objektu blob, do které se uloží hodnota vysoké hodnoty vodoznaku, například requestIdCache.txt . V úložišti objektů blob přejděte k odpovídající cestě HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName, například container/path/requestIdCache.txt. Vytvořte objekt blob s obsahem 0.

     

   • LogicAppURL: V této šabloně používáme WebActivity k volání Azure Logic Apps nastavení hodnoty nejvyšší hodnoty vodoznaku v úložišti objektů blob. Nebo ji můžete Azure SQL Database uložit. K aktualizaci hodnoty použijte aktivitu uložené procedury.

     Nejprve musíte vytvořit aplikaci logiky, jak je vidět na následujícím obrázku. Pak vložte adresu URL HTTP POST.

     

     1. Přejděte na Azure Portal. Vyberte novou Logic Apps služby. Vyberte + Prázdná aplikace logiky a přejděte Logic Apps Návrháře.

     2. Vytvořte aktivační událost Při přijetí požadavku HTTP. Zadejte text požadavku HTTP následujícím způsobem:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Přidejte akci Vytvořit objekt blob. V části Cesta ke složce a Název objektu blob použijte stejné hodnoty, které jste nakonfigurovali dříve v umístění HighWatermarkBlobContainer+HighWatermarkBlobDirectory a HighWatermarkBlobName.

     4. Vyberte Uložit. Potom zkopírujte hodnotu HTTP POST URL pro použití v kanálu.

4. Po poskytnutí parametrů kanálu vyberte Ladit > a dokončete volání spuštění, které ověří konfiguraci. Nebo vyberte Publikovat a publikujte všechny změny a pak výběrem možnosti Přidat trigger spusťte spuštění.

SAP BW konfigurace Open Hub Destination

V této části se seznámíte s konfigurací SAP BW, aby se ke kopírování dat SAP BW konektoru Open Hub.

Konfigurace rozdílové extrakce v SAP BW

Pokud potřebujete historickou i přírůstkovou kopii nebo jenom přírůstkovou kopii, nakonfigurujte extrakci rozdílů v SAP BW.

1. Vytvořte cíl open hubu. Ohd můžete vytvořit v transakci SAP RSA1, která automaticky vytvoří požadovaný proces transformace a přenosu dat. Použijte následující nastavení:

   • ObjectType: Můžete použít libovolný typ objektu. Tady jako příklad používáme InfoCube.
   • Typ cíle: Vyberte Databázová tabulka.
   • Klíč tabulky: Vyberte Technický klíč.
   • Extrakce: Vyberte Zachovat data a vložit záznamy do tabulky.

   

   

   Můžete zvýšit počet paralelních spuštěných pracovních procesů SAP pro DTP:

   

2. Naplánujte DTP v řetězech procesů.

   Rozdílové DTP pro datovou krychli funguje jenom v případě, že nejsou komprimované potřebné řádky. Před spuštěním DTP do tabulky Open Hub se ujistěte, že není spuštěná komprese datové krychle BW. Nejjednodušším způsobem, jak to provést, je integrovat DTP do stávajících řetězů procesů. V následujícím příkladu se DTP (do OHD) vloží do řetězu procesů mezi kroky Upravit (souhrn agregace) a Sbalit (komprese datové krychle).

   

Konfigurace úplné extrakce v SAP BW

Kromě rozdílové extrakce můžete chtít úplnou extrakci stejného objektu SAP BW InfoProvider. To obvykle platí, pokud chcete provést úplnou kopii, ale ne přírůstkovou, nebo pokud chcete opětovně synchronizovat rozdílovou extrakci.

Pro stejný OHD nemůžete mít více než jedno DTP. Proto je před extrakcí rozdílů nutné vytvořit další ohd.

Pro OHD s úplným zatížením zvolte jiné možnosti než pro extrakci rozdílů:

• V OHD: Nastavte možnost Extrakce na Odstranit data a Vložit záznamy. Jinak budou data extrahována mnohokrát, když DTP zopakujete v řetězu procesů BW.

• V nastavení DTP: Režim extrakce nastavte na Úplné. Automaticky vytvořené DTP je nutné změnit z Delta na úplné ihned po vytvoření OHD, jak je znázorněno na tomto obrázku:

  

• V konektoru BW Open Hub: Vypněte možnost Vyloučit poslední požadavek. Jinak se nic extrahuje.

Úplné DTP obvykle spustíte ručně. Nebo můžete vytvořit řetěz procesů pro úplné DTP. Obvykle se jedná o samostatný řetězec, který je nezávislý na existujících řetězcích procesů. V obou případech se před zahájením extrakce pomocí kopírování ujistěte, že je DTP dokončené. V opačném případě se zkopírují pouze částečná data.

První spuštění rozdílové extrakce

První rozdílová extrakce je technicky úplná extrakce. Ve výchozím nastavení SAP BW Open Hub vyloučí poslední požadavek při kopírování dat. Při první rozdílové extrakci aktivita kopírování ne extrahuje žádná data, dokud následný protokol DTP nevygeneruje rozdílová data v tabulce se samostatným ID požadavku. Tomuto scénáři se můžete vyhnout dvěma způsoby:

• U první rozdílové extrakce vypněte možnost Vyloučit poslední požadavek. Před prvním zahájením extrakce rozdílů se ujistěte, že je dokončené první rozdílové DTP.
• Pomocí postupu pro opětovnou synchronizaci rozdílové extrakce, jak je popsáno v další části.

Opětovná synchronizace rozdílové extrakce

Následující scénáře mění data v datových SAP BW, ale rozdílové DTP je nepovažuje za:

• SAP BW selektivního odstranění (řádků pomocí jakékoli podmínky filtru)
• SAP BW požadavku (chybných požadavků)

Cíl SAP Open Hub není cílem dat řízeným datovým tržištěm (ve všech SAP BW podporu balíčků od roku 2015). Proto můžete data z datové krychle odstranit beze změny dat v OHD. Pak je nutné znovu synchronizovat data datové krychle se službou:

1. Spusťte úplnou extrakci ve službě (pomocí úplného DTP v SAP).
2. Odstraňte všechny řádky tabulky Open Hub pro rozdílový protokol DTP.
3. Nastavte stav rozdílového DTP na Fetched (Načteno).

Potom všechny následné rozdílové DTPs a rozdílové extrakce fungují podle očekávání.

Pokud chcete nastavit stav rozdílového DTP na Načteno, můžete pomocí následující možnosti spustit rozdílový protokol DTP ručně:

Žádný přenos dat; Rozdílový stav ve zdroji: Načteno

Další kroky

Další informace SAP BW konektoru Open Hub: