Migrowanie danych do konta NoSQL w usłudze Azure Cosmos DB przy użyciu rozwiązania Striim

DOTYCZY: NoSQL

Obraz Striim w witrynie Azure Marketplace oferuje ciągłe przenoszenie danych w czasie rzeczywistym z magazynów danych i baz danych na platformę Azure. Podczas przenoszenia danych można przeprowadzić denormalizację w wierszu, transformację danych, włączyć analizę w czasie rzeczywistym i scenariusze raportowania danych. Łatwo rozpocząć pracę z rozwiązaniem Striim, aby stale przenosić dane przedsiębiorstwa do usługi Azure Cosmos DB for NoSQL. Platforma Azure oferuje ofertę platformy handlowej, która ułatwia wdrażanie rozwiązania Striim i migrowanie danych do usługi Azure Cosmos DB.

W tym artykule pokazano, jak za pomocą narzędzia Striim przeprowadzić migrację danych z bazy danych Oracle do konta usługi Azure Cosmos DB for NoSQL.

Wymagania wstępne

• Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto .

• Baza danych Oracle działająca lokalnie z pewnymi danymi.

Wdrażanie rozwiązania Striim Marketplace

1. Zaloguj się w witrynie Azure Portal.

2. Wybierz pozycję Utwórz zasób i wyszukaj ciąg Striim w witrynie Azure Marketplace. Wybierz pierwszą opcję i utwórz.

   

3. Następnie wprowadź właściwości konfiguracji wystąpienia Striim. Środowisko Striim jest wdrażane na maszynie wirtualnej. W okienku Podstawowe wprowadź nazwę użytkownika maszyny wirtualnej, hasło maszyny wirtualnej (to hasło jest używane do połączenia SSH z maszyną wirtualną). Wybierz szczegóły subskrypcji, grupy zasobów i lokalizacji , w których chcesz wdrożyć rozwiązanie Striim. Po zakończeniu wybierz przycisk OK.

   

4. W okienku Ustawienia klastra Striim wybierz typ wdrożenia Striim i rozmiar maszyny wirtualnej.

   Ustawienie	Wartość	Opis
   Typ wdrożenia Striim	Autonomiczna	Rozwiązanie Striim może być uruchamiane w typach wdrożenia autonomicznego lub klastra . Tryb autonomiczny wdroży serwer Striim na jednej maszynie wirtualnej i można wybrać rozmiar maszyn wirtualnych w zależności od woluminu danych. Tryb klastra wdroży serwer Striim na co najmniej dwóch maszynach wirtualnych o wybranym rozmiarze. Środowiska klastra z więcej niż 2 węzłami oferują automatyczną wysoką dostępność i tryb failover. W tym samouczku możesz wybrać opcję Autonomiczna. Użyj domyślnej maszyny wirtualnej o rozmiarze "Standard_F4s".
   Nazwa klastra Striim	<Striim_cluster_Name>	Nazwa klastra Striim.
   Hasło klastra Striim	<Striim_cluster_password>	Hasło dla klastra.

   Po wypełnieniu formularza wybierz przycisk OK , aby kontynuować.

5. W okienku Ustawień dostępu Striim skonfiguruj publiczny adres IP (wybierz wartości domyślne), nazwę domeny striim, Administracja hasło, którego chcesz użyć do logowania się do interfejsu użytkownika Striim. Skonfiguruj sieć wirtualną i podsieć (wybierz wartości domyślne). Po wypełnieniu szczegółów wybierz przycisk OK , aby kontynuować.

   

6. Platforma Azure zweryfikuje wdrożenie i upewni się, że wszystko wygląda dobrze; Weryfikacja trwa kilka minut. Po zakończeniu walidacji wybierz przycisk OK.

7. Na koniec przejrzyj warunki użytkowania i wybierz pozycję Utwórz , aby utworzyć wystąpienie rozwiązania Striim.

Konfigurowanie źródłowej bazy danych

W tej sekcji skonfigurujesz bazę danych Oracle jako źródło przenoszenia danych. Serwer Striim jest dostarczany ze sterownikiem Oracle JDBC używanym do nawiązywania połączenia z bazą danych Oracle. Aby odczytać zmiany ze źródłowej bazy danych Oracle, możesz użyć interfejsów APILogMiner lub XStream. Sterownik Oracle JDBC jest obecny w ścieżce klas Java striim do odczytu, zapisu lub utrwalania danych z bazy danych Oracle.

Konfigurowanie docelowej bazy danych

W tej sekcji skonfigurujesz konto usługi Azure Cosmos DB for NoSQL jako cel przenoszenia danych.

1. Utwórz konto usługi Azure Cosmos DB for NoSQL przy użyciu Azure Portal.

2. Przejdź do okienka Data Explorer na koncie usługi Azure Cosmos DB. Wybierz pozycję Nowy kontener , aby utworzyć nowy kontener. Załóżmy, że migrujesz produkty i dane zamówień z bazy danych Oracle do usługi Azure Cosmos DB. Utwórz nową bazę danych o nazwie StriimDemo z kontenerem o nazwie Orders. Aprowizowanie kontenera przy użyciu 1000 jednostek RU (w tym przykładzie użyto 1000 jednostek RU, ale należy użyć szacowanej przepływności dla obciążenia) i /ORDER_ID jako klucza partycji. Te wartości będą się różnić w zależności od danych źródłowych.

   

Konfigurowanie przepływu danych oracle do usługi Azure Cosmos DB

1. Przejdź do wystąpienia striim wdrożonego w Azure Portal. Wybierz przycisk Połącz na górnym pasku menu i na karcie SSH skopiuj adres URL w polu Logowanie przy użyciu konta lokalnego maszyny wirtualnej .

   

2. Otwórz nowe okno terminalu i uruchom polecenie SSH skopiowane z Azure Portal. W tym artykule używany jest terminal w systemie MacOS. Podobne instrukcje można wykonać przy użyciu klienta SSH na maszynie z systemem Windows. Po wyświetleniu monitu wpisz tak , aby kontynuować, i wprowadź hasło ustawione dla maszyny wirtualnej w poprzednim kroku.

   

3. W tym samym oknie terminalu uruchom ponownie serwer Striim, wykonując następujące polecenia:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Uruchomienie narzędzia Striim potrwa minutę. Jeśli chcesz zobaczyć stan, uruchom następujące polecenie:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teraz wróć do platformy Azure i skopiuj publiczny adres IP maszyny wirtualnej Striim.

   

6. Aby przejść do internetowego interfejsu użytkownika striim, otwórz nową kartę w przeglądarce i skopiuj publiczny adres IP, a następnie: 9080. Zaloguj się przy użyciu nazwy użytkownika administratora oraz hasła administratora określonego w Azure Portal.

   

7. Teraz pojawisz się na stronie głównej Striim. Istnieją trzy różne okienka — Pulpity nawigacyjne, Aplikacje i ŹródłoPrzegląd. Okienko Pulpity nawigacyjne umożliwia przenoszenie danych w czasie rzeczywistym i wizualizowanie ich. Okienko Aplikacje zawiera potoki danych przesyłania strumieniowego lub przepływy danych. Po prawej stronie znajduje się element SourcePreview, w którym można wyświetlić podgląd danych przed przeniesieniem.

8. Wybierz okienko Aplikacje . Na razie skoncentrujemy się na tym okienku. Istnieje wiele przykładowych aplikacji, których można użyć do zapoznania się z narzędziem Striim, jednak w tym artykule utworzysz własne. Wybierz przycisk Dodaj aplikację w prawym górnym rogu.

   

9. Istnieje kilka różnych sposobów tworzenia aplikacji Striim. Wybierz pozycję Rozpocznij od szablonu , aby rozpocząć od istniejącego szablonu.

   

10. W polu Szablony wyszukiwania wpisz "Cosmos" i wybierz pozycję Cel: Azure Cosmos DB , a następnie wybierz pozycję Oracle CDC do usługi Azure Cosmos DB.

    

11. Na następnej stronie nadaj aplikacji nazwę. Możesz podać nazwę, taką jak oraToCosmosDB , a następnie wybrać pozycję Zapisz.

12. Następnie wprowadź konfigurację źródłową wystąpienia oracle. Wprowadź wartość w polu Nazwa źródła. Nazwa źródłowa jest tylko konwencją nazewnictwa aplikacji Striim. Można użyć czegoś takiego jak src_onPremOracle. Wprowadź wartości pozostałych parametrów źródłowych URL, Nazwa użytkownika, Hasło, wybierz pozycję LogMiner jako czytelnik, aby odczytać dane z bazy danych Oracle. Wybierz przycisk Dalej, aby kontynuować.

    

13. Narzędzie Striim sprawdzi środowisko i upewnij się, że może nawiązać połączenie ze źródłowym wystąpieniem Oracle, mieć odpowiednie uprawnienia i że usługa CDC została prawidłowo skonfigurowana. Po zweryfikowaniu wszystkich wartości wybierz pozycję Dalej.

    

14. Wybierz tabele z bazy danych Oracle, którą chcesz zmigrować. Na przykład wybierzmy tabelę Orders (Zamówienia), a następnie wybierz pozycję Next (Dalej).

    

15. Po wybraniu tabeli źródłowej można wykonywać bardziej skomplikowane operacje, takie jak mapowanie i filtrowanie. W takim przypadku utworzysz replikę tabeli źródłowej w usłudze Azure Cosmos DB. Dlatego wybierz przycisk Dalej , aby skonfigurować element docelowy

16. Teraz skonfigurujmy element docelowy:

    • Nazwa docelowa — podaj przyjazną nazwę elementu docelowego.
    • Dane wejściowe z — z listy rozwijanej wybierz strumień wejściowy z utworzonego w źródłowej konfiguracji Oracle.
    • Kolekcje — wprowadź docelowe właściwości konfiguracji usługi Azure Cosmos DB. Składnia kolekcji to SourceSchema.SourceTable, TargetDatabase.TargetContainer. W tym przykładzie wartość to "SYSTEM". ORDERS, StriimDemo.Orders".
    • AccessKey — klucz podstawowy konta usługi Azure Cosmos DB.
    • ServiceEndpoint — identyfikator URI konta usługi Azure Cosmos DB można znaleźć w sekcji Klucze Azure Portal.

    Wybierz pozycję Zapisz i Dalej.

    

17. Następnie dotrzesz do projektanta przepływu, gdzie możesz przeciągać i upuszczać łączniki skrzynki w celu utworzenia aplikacji przesyłania strumieniowego. W tym momencie nie wprowadzisz żadnych modyfikacji przepływu. więc przejdź do przodu i wdróż aplikację, wybierając przycisk Wdróż aplikację .

    

18. W oknie wdrażania możesz określić, czy chcesz uruchomić niektóre części aplikacji w określonych częściach topologii wdrożenia. Ponieważ działamy w prostej topologii wdrażania za pośrednictwem platformy Azure, użyjemy opcji domyślnej.

    

19. Po wdrożeniu możesz wyświetlić podgląd strumienia, aby zobaczyć przepływ danych. Wybierz ikonę fali i obok niej gałkę oczkową. Wybierz przycisk Wdróż na górnym pasku menu, a następnie wybierz pozycję Uruchom aplikację.

    

20. Za pomocą czytnika CDC(Change Data Capture) striim pobierze tylko nowe zmiany w bazie danych. Jeśli masz dane przepływające przez tabele źródłowe, zobaczysz je. Jednak ponieważ jest to tabela demonstracyjna, źródło nie jest połączone z żadną aplikacją. Jeśli używasz przykładowego generatora danych, możesz wstawić łańcuch zdarzeń do bazy danych Oracle.

21. Zobaczysz dane przepływające przez platformę Striim. Narzędzie Striim pobiera również wszystkie metadane skojarzone z tabelą, co jest przydatne do monitorowania danych i upewnienia się, że dane są w odpowiednim miejscu docelowym.

    

22. Na koniec zalogujmy się do platformy Azure i przejdźmy do konta usługi Azure Cosmos DB. Odśwież Data Explorer i zobaczysz, że dane dotarły.

    

Korzystając z rozwiązania Striim na platformie Azure, możesz stale migrować dane do usługi Azure Cosmos DB z różnych źródeł, takich jak Oracle, Cassandra, MongoDB i różne inne do usługi Azure Cosmos DB. Aby dowiedzieć się więcej, odwiedź witrynę internetową Striim, pobierz bezpłatną 30-dniową wersję próbną narzędzia Striim i wszelkie problemy podczas konfigurowania ścieżki migracji za pomocą narzędzia Striim, prześlij wniosek o pomoc techniczną.

Następne kroki

• Próbujesz zaplanować pojemność na potrzeby migracji do usługi Azure Cosmos DB?

  • Jeśli wiesz, ile rdzeni wirtualnych i serwerów znajduje się w istniejącym klastrze bazy danych, przeczytaj o szacowaniu jednostek żądań przy użyciu rdzeni wirtualnych lub procesorów wirtualnych
  • Jeśli znasz typowe stawki żądań dla bieżącego obciążenia bazy danych, przeczytaj o szacowaniu jednostek żądań przy użyciu planisty pojemności usługi Azure Cosmos DB

• Jeśli migrujesz dane do usługi Azure Cosmos DB for NoSQL, zobacz , jak migrować dane do interfejsu API dla konta Cassandra przy użyciu narzędzia Striim

• Monitorowanie i debugowanie danych za pomocą metryk usługi Azure Cosmos DB