Kopiowanie danych z usługi SAP Business Warehouse za pomocą usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule pokazano, jak używać potoków usługi Azure Data Factory lub Synapse Analytics do kopiowania danych z usługi SAP Business Warehouse (BW) za pośrednictwem usługi Open Hub do usługi Azure Data Lake Storage Gen2. Możesz użyć podobnego procesu, aby skopiować dane do innych obsługiwanych magazynów danych ujścia.

Napiwek

Aby uzyskać ogólne informacje na temat kopiowania danych z oprogramowania SAP BW, w tym integracji z rozwiązaniem SAP BW Open Hub i przepływu wyodrębniania różnicowego, zobacz Kopiowanie danych z usługi SAP Business Warehouse za pośrednictwem usługi Open Hub przy użyciu usługi Azure Data Factory.

Wymagania wstępne

• Obszar roboczy usługi Azure Data Factory lub Synapse: jeśli go nie masz, wykonaj kroki tworzenia fabryki danych lub tworzenia obszaru roboczego usługi Synapse.

• Sap BW Open Hub Destination (OHD) z typem docelowym "Tabela bazy danych": Aby utworzyć dysk OHD lub sprawdzić, czy dysk OHD jest poprawnie skonfigurowany do integracji z usługą, zobacz sekcję Konfiguracje docelowe centrum SAP BW Open Hub w tym artykule.

• Użytkownik systemu SAP BW musi mieć następujące uprawnienia:

  • Autoryzacja dla zdalnych wywołań funkcji (RFC) i SAP BW.
  • Uprawnienia do działania "Wykonaj" obiektu autoryzacji S_SDSAUTH .

• Własne środowisko Integration Runtime (IR) z łącznikiem SAP .NET Connector 3.0. Wykonaj następujące kroki konfiguracji:

  1. Zainstaluj i zarejestruj własne środowisko Integration Runtime w wersji 3.13 lub nowszej. (Ten proces został opisany w dalszej części tego artykułu).

  2. Pobierz 64-bitowy program SAP Połączenie or dla platformy Microsoft .NET 3.0 z witryny internetowej SAP i zainstaluj go na tym samym komputerze co własne środowisko IR. Podczas instalacji upewnij się, że w oknie dialogowym Opcjonalne kroki konfiguracji wybrano pozycję Zainstaluj zestawy do GAC, jak pokazano na poniższej ilustracji:

     

Wykonaj pełną kopię z programu SAP BW Open Hub

W witrynie Azure Portal przejdź do swojej usługi. Wybierz pozycję Otwórz na kafelku Open Azure Data Factory Studio lub Open Synapse Studio, aby otworzyć interfejs użytkownika usługi na osobnej karcie.

1. Na stronie głównej wybierz pozycję Pozyskiwanie , aby otworzyć narzędzie do kopiowania danych.

2. Na stronie Właściwości wybierz pozycję Wbudowane zadanie kopiowania w obszarze Typ zadania, a następnie wybierz pozycję Uruchom raz w obszarze Harmonogram zadań lub harmonogram zadań, a następnie wybierz przycisk Dalej.

3. Na stronie Źródłowy magazyn danych wybierz pozycję + Nowe połączenie. Wybierz pozycję SAP BW Open Hub z galerii łączników, a następnie wybierz pozycję Kontynuuj. Aby filtrować łączniki, możesz wpisać sap w polu wyszukiwania.

4. Na stronie Nowe połączenie (SAP BW Open Hub) wykonaj następujące kroki, aby utworzyć nowe połączenie.

   1. Z listy Połączenie za pośrednictwem środowiska Integration Runtime wybierz istniejące własne środowisko IR. Możesz też utworzyć go, jeśli jeszcze go nie masz.

      Aby utworzyć nowe własne środowisko IR, wybierz pozycję +Nowy, a następnie wybierz pozycję Self-hosted. Wprowadź nazwę, a następnie wybierz przycisk Dalej. Wybierz pozycję Konfiguracja ekspresowa, aby zainstalować na bieżącym komputerze, lub wykonaj podane kroki ręcznej konfiguracji .

      Jak wspomniano w sekcji Wymagania wstępne, upewnij się, że masz zainstalowany program SAP Połączenie or dla platformy Microsoft .NET 3.0 na tym samym komputerze, na którym jest uruchomione własne środowisko IR.

   2. Podaj nazwę serwera SAP BW, numer systemu, identyfikator klienta, język (jeśli inny niż EN), nazwę użytkownika i hasło.

   3. Wybierz pozycję Testuj połączenie , aby zweryfikować ustawienia, a następnie wybierz pozycję Utwórz.

   

   4. Na stronie Źródłowy magazyn danych wybierz nowo utworzone połączenie w bloku Połączenie ion.

   5. W sekcji wybierania lokalizacji docelowych open hub przejrzyj lokalizacje docelowe open hub, które są dostępne w systemie SAP BW. Możesz wyświetlić podgląd danych w każdym miejscu docelowym, wybierając przycisk podglądu na końcu każdego wiersza. Wybierz dysk OHD, z który chcesz skopiować dane, a następnie wybierz pozycję Dalej.

   

5. Określ filtr, jeśli jest potrzebny. Jeśli dysk OHD zawiera tylko dane z wykonania pojedynczego procesu transferu danych (DTP) z pojedynczym identyfikatorem żądania lub upewnij się, że nazwa DTP została zakończona i chcesz skopiować dane, wyczyść pole wyboru Wyklucz ostatnie żądanie w sekcji Zaawansowane . Możesz wyświetlić podgląd danych, wybierając przycisk Podgląd danych .

   Dowiedz się więcej o tych ustawieniach w sekcji Konfiguracja docelowa usługi SAP BW Open Hub w tym artykule. Następnie kliknij przycisk Dalej.

   

6. Na stronie Docelowy magazyn danych wybierz pozycję + Nowe połączenie z usługą>Azure Data Lake Storage Gen2>Kontynuuj.

7. Na stronie Nowe połączenie (Azure Data Lake Storage Gen2) wykonaj następujące kroki, aby utworzyć połączenie.

   1. Wybierz swoje konto obsługujące usługę Data Lake Storage Gen2 z listy rozwijanej Nazwa .
   2. Wybierz Utwór, aby utworzyć łącznik.

   

8. Na stronie Docelowy magazyn danych wybierz nowo utworzone połączenie w sekcji Połączenie ion i wprowadź wartość copyfromopenhub jako nazwę folderu wyjściowego. Następnie kliknij przycisk Dalej.

   

9. Na stronie ustawienia Format pliku wybierz przycisk Dalej , aby użyć ustawień domyślnych.

   

10. Na stronie Ustawienia określ nazwę zadania i rozwiń węzeł Zaawansowane. Wprowadź wartość stopnia równoległości kopiowania, na przykład 5, aby załadować z systemu SAP BW równolegle. Następnie kliknij przycisk Dalej.

    

11. Na stronie Podsumowanie przejrzyj ustawienia. Następnie kliknij przycisk Dalej.

    

12. Na stronie Wdrażanie wybierz pozycję Monitor, aby monitorować potok.

13. Zwróć uwagę, że karta Monitorowanie po lewej stronie jest automatycznie zaznaczona. Możesz użyć linków w kolumnie Nazwa potoku na stronie Uruchomienia potoku, aby wyświetlić szczegóły działania i ponownie uruchomić potok.

14. Aby wyświetlić uruchomienia działań skojarzone z uruchomieniem potoku, wybierz linki w kolumnie Nazwa potoku. W potoku jest tylko jedno działanie (działanie kopiowania), dlatego na liście jest wyświetlana tylko jedna pozycja. Aby wrócić do widoku przebiegów potoku, wybierz link Wszystkie uruchomienia potoku u góry. Wybierz pozycję Odśwież, aby odświeżyć listę.

    

15. Aby monitorować szczegóły wykonywania dla każdego działania kopiowania, wybierz link Szczegóły , który jest ikoną okularów w tym samym wierszu każdego działania kopiowania w widoku monitorowania działań. Dostępne szczegóły obejmują wolumin danych skopiowany ze źródła do ujścia, przepływność danych, kroki wykonywania i czas trwania oraz użyte konfiguracje.

    

16. Aby wyświetlić maksymalny identyfikator żądania każdego działania kopiowania, wróć do widoku monitorowania działań i wybierz pozycję Dane wyjściowe w tym samym wierszu każdego działania kopiowania.

    

    

Kopia przyrostowa z rozwiązania SAP BW Open Hub

Napiwek

Zobacz Przepływ wyodrębniania różnicowego łącznika SAP BW Open Hub, aby dowiedzieć się, jak łącznik SAP BW Open Hub kopiuje przyrostowe dane z oprogramowania SAP BW. Ten artykuł może również pomóc w zrozumieniu podstawowej konfiguracji łącznika.

Teraz kontynuujmy konfigurowanie kopii przyrostowej z programu SAP BW Open Hub.

Kopia przyrostowa używa mechanizmu "high-watermark", który jest oparty na identyfikatorze żądania. Ten identyfikator jest generowany automatycznie w rozwiązaniu SAP BW Open Hub Destination przez DTP. Na poniższym diagramie przedstawiono ten przepływ pracy:

Na stronie głównej wybierz pozycję Szablony potoków w sekcji Odnajdź więcej , aby użyć wbudowanego szablonu.

1. Wyszukaj plik SAP BW , aby znaleźć i wybrać kopię przyrostową z oprogramowania SAP BW do szablonu Usługi Azure Data Lake Storage Gen2 . Ten szablon kopiuje dane do usługi Azure Data Lake Storage Gen2. Możesz użyć podobnego przepływu pracy, aby skopiować do innych typów ujścia.

2. Na stronie głównej szablonu wybierz lub utwórz następujące trzy połączenia, a następnie wybierz pozycję Użyj tego szablonu w prawym dolnym rogu okna.

   • Azure Blob Storage: w tym przewodniku użyjemy usługi Azure Blob Storage do przechowywania wysokiego limitu, który jest maksymalnym identyfikatorem skopiowanego żądania.
   • SAP BW Open Hub: jest to źródło do skopiowania danych. Zapoznaj się z poprzednim przewodnikiem po pełnej kopii, aby uzyskać szczegółową konfigurację.
   • Azure Data Lake Storage Gen2: jest to ujście do skopiowania danych. Zapoznaj się z poprzednim przewodnikiem po pełnej kopii, aby uzyskać szczegółową konfigurację.

   

3. Ten szablon generuje potok z następującymi trzema działaniami i sprawia, że są one powiązane łańcuchowo: wyszukiwanie, kopiowanie danych i sieć Web.

   Przejdź do karty Parametry potoku. Zobaczysz wszystkie konfiguracje, które należy podać.

   

   • SAPOpenHubDestinationName: określ nazwę tabeli Open Hub do skopiowania danych.

   • Data_Destination_Container: określ docelowy kontener usługi Azure Data Lake Storage Gen2 do skopiowania danych. Jeśli kontener nie istnieje, działanie kopiowania tworzy je podczas wykonywania.

   • Data_Destination_Directory: określ ścieżkę folderu w kontenerze usługi Azure Data Lake Storage Gen2 w celu skopiowania danych do. Jeśli ścieżka nie istnieje, działanie kopiowania tworzy ścieżkę podczas wykonywania.

   • HighWatermarkBlobContainer: określ kontener do przechowywania wartości wysokiego limitu.

   • HighWatermarkBlobDirectory: określ ścieżkę folderu pod kontenerem, aby przechowywać wartość limitu.

   • HighWatermarkBlobName: określ nazwę obiektu blob do przechowywania wysokiej wartości limitu, na przykład requestIdCache.txt. W usłudze Blob Storage przejdź do odpowiedniej ścieżki highWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName, takiej jak container/path/requestIdCache.txt. Utwórz obiekt blob z zawartością 0.

     

   • LogicAppURL: w tym szablonie używamy funkcji WebActivity do wywoływania usługi Azure Logic Apps w celu ustawienia wartości wysokiego limitu w usłudze Blob Storage. Możesz też użyć usługi Azure SQL Database do jej przechowywania. Użyj działania procedury składowanej, aby zaktualizować wartość.

     Musisz najpierw utworzyć aplikację logiki, jak pokazano na poniższej ilustracji. Następnie wklej adres URL HTTP POST.

     

     1. Przejdź do portalu Azure Portal. Wybierz nową usługę Logic Apps . Wybierz pozycję +Pusta aplikacja logiki, aby przejść do pozycji Logic Apps Projektant.

     2. Utwórz wyzwalacz po odebraniu żądania HTTP. Określ treść żądania HTTP w następujący sposób:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Dodaj akcję Utwórz obiekt blob. W obszarze Ścieżka folderu i nazwa obiektu blob użyj tych samych wartości, które zostały wcześniej skonfigurowane w parametrach HighWatermarkBlobContainer+HighWatermarkBlobDirectory i HighWatermarkBlobName.

     4. Wybierz pozycję Zapisz. Następnie skopiuj wartość adresu URL HTTP POST do użycia w potoku.

4. Po podaniu parametrów potoku wybierz pozycję Zakończ debugowanie>, aby wywołać przebieg w celu zweryfikowania konfiguracji. Możesz też wybrać pozycję Publikuj , aby opublikować wszystkie zmiany, a następnie wybierz pozycję Dodaj wyzwalacz , aby wykonać przebieg.

Konfiguracje docelowe rozwiązania SAP BW Open Hub

W tej sekcji przedstawiono konfigurację po stronie systemu SAP BW w celu skopiowania danych przy użyciu łącznika SAP BW Open Hub.

Konfigurowanie wyodrębniania różnicowego w systemie SAP BW

Jeśli potrzebujesz zarówno kopii historycznej, jak i kopii przyrostowej lub tylko przyrostowej, skonfiguruj wyodrębnianie różnicowe w systemie SAP BW.

1. Utwórz lokalizację docelową open hub. Dysk OHD można utworzyć w oprogramowaniu SAP Transaction RSA1, który automatycznie tworzy wymagany proces przekształcania i transferu danych. Użyj następujących ustawień:

   • ObjectType: można użyć dowolnego typu obiektu. W tym miejscu jako przykład używamy narzędzia InfoCube .
   • Typ docelowy: wybierz pozycję Tabela bazy danych.
   • Klucz tabeli: wybierz pozycję Klucz techniczny.
   • Wyodrębnianie: wybierz pozycję Zachowaj dane i Wstaw rekordy do tabeli.

   

   

   Możesz zwiększyć liczbę równoległych uruchomionych procesów roboczych SAP dla DTP:

   

2. Zaplanuj DTP w łańcuchach procesów.

   Delta DTP dla modułu działa tylko wtedy, gdy wymagane wiersze nie zostały skompresowane. Upewnij się, że kompresja modułu BW nie jest uruchomiona przed przejściem DTP do tabeli Open Hub. Najprostszym sposobem jest zintegrowanie protokołu DTP z istniejącymi łańcuchami procesów. W poniższym przykładzie protokół DTP (do dysku OHD) jest wstawiany do łańcucha procesów między krokami Dostosuj (zestawienie agregacji) i Zwiń (kompresja modułu).

   

Konfigurowanie pełnego wyodrębniania w systemie SAP BW

Oprócz wyodrębniania różnicowego możesz chcieć wyodrębnić pełne wyodrębnianie tego samego dostawcy informacji SAP BW. Zwykle ma to zastosowanie, jeśli chcesz wykonać pełną kopię, ale nie przyrostowe, lub chcesz ponownie zsynchronizować wyodrębnianie różnicowe.

Nie można mieć więcej niż jednej nazwy DTP dla tego samego dysku OHD. Dlatego przed wyodrębnianiem różnicowym należy utworzyć dodatkowy dysk OHD.

W przypadku pełnego ładowania dysku OHD wybierz inne opcje niż w przypadku wyodrębniania różnicowego:

• W dysku OHD: ustaw opcję Wyodrębnianie, aby usunąć dane i wstawić rekordy. W przeciwnym razie dane będą wyodrębniane wiele razy po powtórzeniu metody DTP w łańcuchu procesów BW.

• W DTP: ustaw tryb wyodrębniania na Pełny. Musisz zmienić automatycznie utworzoną funkcję DTP z funkcji Delta na Pełne natychmiast po utworzeniu dysku OHD, jak pokazano na poniższej ilustracji:

  

• W łączniku BW Open Hub: wyłącz opcję Wyklucz ostatnie żądanie. W przeciwnym razie żadne dane nie zostaną wyodrębnione.

Zazwyczaj pełne DTP są uruchamiane ręcznie. Możesz też utworzyć łańcuch procesów dla pełnej metody DTP. Zazwyczaj jest to oddzielny łańcuch, który jest niezależny od istniejących łańcuchów procesów. W obu przypadkach upewnij się, że przed rozpoczęciem wyodrębniania jest zakończona funkcja DTP przy użyciu kopii. W przeciwnym razie zostaną skopiowane tylko częściowe dane.

Uruchamianie wyodrębniania różnicowego po raz pierwszy

Pierwsze wyodrębnianie różnicowe jest technicznie pełnym wyodrębnianiem. Domyślnie łącznik SAP BW Open Hub wyklucza ostatnie żądanie podczas kopiowania danych. W przypadku pierwszego wyodrębniania różnicowego żadne dane nie są wyodrębniane przez działanie kopiowania, dopóki kolejne DTP nie wygeneruje danych różnicowych w tabeli z oddzielnym identyfikatorem żądania. Istnieją dwa sposoby uniknięcia tego scenariusza:

• Wyłącz opcję Wyklucz ostatnie żądanie dla pierwszego wyodrębniania różnicowego. Przed rozpoczęciem wyodrębniania różnicowego po raz pierwszy upewnij się, że pierwsza delta DTP została zakończona.
• Użyj procedury ponownej synchronizacji wyodrębniania różnic, zgodnie z opisem w następnej sekcji.

Ponowne wyodrębnianie różnic

Następujące scenariusze zmieniają dane w modułach SAP BW, ale nie są brane pod uwagę przez różnicę DTP:

• Selektywne usuwanie systemu SAP BW (wierszy przy użyciu dowolnego warunku filtru)
• Usuwanie żądania SAP BW (z błędnych żądań)

Miejsce docelowe rozwiązania SAP Open Hub nie jest obiektem docelowym danych kontrolowanym przez składnicę danych (we wszystkich pakietach obsługi oprogramowania SAP BW od 2015 r.). W związku z tym można usunąć dane z modułu bez zmiany danych w dysku OHD. Następnie należy ponownie zsynchronizować dane modułu z usługą:

1. Uruchom pełne wyodrębnianie w usłudze (przy użyciu pełnej metody DTP w oprogramowaniu SAP).
2. Usuń wszystkie wiersze w tabeli Open Hub dla delta DTP.
3. Ustaw stan delta DTP na Fetched.

Następnie wszystkie kolejne różnicowe jednostki DTP i wyodrębniania różnicowe działają zgodnie z oczekiwaniami.

Aby ustawić stan delta DTP na Fetched, możesz użyć następującej opcji, aby ręcznie uruchomić delta DTP:

Brak transferu danych; Stan różnicy w źródle: pobrane

Powiązana zawartość

Dowiedz się więcej o obsłudze łącznika SAP BW Open Hub:

Łącznik SAP Business Warehouse Open Hub