Migrowanie danych do usługi Azure Cosmos DB dla konta apache Cassandra przy użyciu narzędzia Striim

DOTYCZY: Cassandra

Obraz Striim w witrynie Azure Marketplace oferuje ciągłe przenoszenie danych w czasie rzeczywistym z magazynów danych i baz danych na platformę Azure. Podczas przenoszenia danych można wykonywać denormalizację w wierszu, transformację danych, włączyć analizę w czasie rzeczywistym i scenariusze raportowania danych. Możesz łatwo rozpocząć pracę z rozwiązaniem Striim, aby stale przenosić dane przedsiębiorstwa do usługi Azure Cosmos DB dla usługi Apache Cassandra. Platforma Azure udostępnia ofertę platformy Handlowej, która ułatwia wdrażanie rozwiązania Striim i migrowanie danych do usługi Azure Cosmos DB.

W tym artykule pokazano, jak używać narzędzia Striim do migrowania danych z bazy danych Oracle do konta usługi Azure Cosmos DB dla usługi Apache Cassandra.

Wymagania wstępne

• Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto .

• Baza danych Oracle działająca lokalnie z niektórymi danymi.

Wdrażanie rozwiązania platformy handlowej Striim

1. Zaloguj się w witrynie Azure Portal.

2. Wybierz pozycję Utwórz zasób i wyszukaj ciąg Striim w witrynie Azure Marketplace. Wybierz pierwszą opcję i utwórz.

   

3. Następnie wprowadź właściwości konfiguracji wystąpienia Striim. Środowisko Striim jest wdrażane na maszynie wirtualnej. W okienku Podstawy wprowadź nazwę użytkownika maszyny wirtualnej, hasło maszyny wirtualnej (to hasło jest używane do SSH na maszynie wirtualnej). Wybierz swoją subskrypcję, grupę zasobów i szczegóły lokalizacji , w których chcesz wdrożyć usługę Striim. Po zakończeniu wybierz przycisk OK.

   

4. W okienku Ustawienia klastra Striim wybierz typ wdrożenia Striim i rozmiar maszyny wirtualnej.

   Ustawienie	Wartość	Opis
   Typ wdrożenia striim	Autonomiczna	Program Striim może działać w typach wdrożenia autonomicznego lub klastra . Tryb autonomiczny wdroży serwer Striim na jednej maszynie wirtualnej i można wybrać rozmiar maszyn wirtualnych w zależności od woluminu danych. Tryb klastra wdroży serwer Striim na co najmniej dwóch maszynach wirtualnych o wybranym rozmiarze. Środowiska klastra z ponad 2 węzłami oferują automatyczną wysoką dostępność i tryb failover. W tym samouczku możesz wybrać opcję Autonomiczna. Użyj domyślnej maszyny wirtualnej o rozmiarze "Standard_F4s".
   Nazwa klastra Striim	<Striim_cluster_Name>	Nazwa klastra Striim.
   Hasło klastra Striim	<Striim_cluster_password>	Hasło dla klastra.

   Po wypełnieniu formularza wybierz przycisk OK , aby kontynuować.

5. W okienku Ustawień dostępu Striim skonfiguruj publiczny adres IP (wybierz wartości domyślne), nazwę domeny dla parametru Striim, Administracja hasło, którego chcesz użyć do logowania się do interfejsu użytkownika Striim. Skonfiguruj sieć wirtualną i podsieć (wybierz wartości domyślne). Po wypełnieniu szczegółów wybierz przycisk OK , aby kontynuować.

   

6. Platforma Azure zweryfikuje wdrożenie i upewni się, że wszystko wygląda dobrze; Ukończenie walidacji trwa kilka minut. Po zakończeniu walidacji wybierz przycisk OK.

7. Na koniec przejrzyj warunki użytkowania i wybierz pozycję Utwórz , aby utworzyć wystąpienie usługi Striim.

Konfigurowanie źródłowej bazy danych

W tej sekcji skonfigurujesz bazę danych Oracle jako źródło przenoszenia danych. Serwer Striim jest dostarczany ze sterownikiem Oracle JDBC używanym do nawiązywania połączenia z bazą danych Oracle. Aby odczytać zmiany ze źródłowej bazy danych Oracle, możesz użyć narzędzia LogMiner lub interfejsów API XStream. Sterownik Oracle JDBC jest obecny w ścieżce klas Java Striim do odczytu, zapisu lub utrwalania danych z bazy danych Oracle.

Konfigurowanie docelowej bazy danych

W tej sekcji skonfigurujesz konto usługi Azure Cosmos DB dla usługi Apache Cassandra jako element docelowy przenoszenia danych.

1. Utwórz konto usługi Azure Cosmos DB dla bazy danych Apache Cassandra przy użyciu Azure Portal.

2. Przejdź do okienka Data Explorer na koncie usługi Azure Cosmos DB. Wybierz pozycję Nowa tabela , aby utworzyć nowy kontener. Załóżmy, że migrujesz produkty i zamówienia danych z bazy danych Oracle do usługi Azure Cosmos DB. Utwórz nową przestrzeń kluczy o nazwie StriimDemo za pomocą kontenera Orders. Aprowizuj kontener przy użyciu 1000 jednostek RU (w tym przykładzie użyto 1000 jednostek RU, ale należy użyć przepływności szacowanej dla obciążenia) i /ORDER_ID jako klucza podstawowego. Te wartości będą się różnić w zależności od danych źródłowych.

   

Konfigurowanie przepływu danych oracle do usługi Azure Cosmos DB

1. Przejdź do wystąpienia narzędzia Striim wdrożonego w Azure Portal. Wybierz przycisk Połącz na górnym pasku menu i na karcie SSH skopiuj adres URL w polu Logowanie przy użyciu konta lokalnego maszyny wirtualnej .

   

2. Otwórz nowe okno terminalu i uruchom polecenie SSH skopiowane z Azure Portal. W tym artykule używany jest terminal w systemie macOS. Możesz postępować zgodnie z podobnymi instrukcjami przy użyciu klienta SSH na maszynie z systemem Windows. Po wyświetleniu monitu wpisz tak , aby kontynuować i wprowadź hasło ustawione dla maszyny wirtualnej w poprzednim kroku.

   

3. W tym samym oknie terminalu uruchom ponownie serwer Striim, wykonując następujące polecenia:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Uruchomienie narzędzia Striim potrwa minutę. Jeśli chcesz wyświetlić stan, uruchom następujące polecenie:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teraz wróć do platformy Azure i skopiuj publiczny adres IP maszyny wirtualnej Striim.

   

6. Aby przejść do internetowego interfejsu użytkownika narzędzia Striim, otwórz nową kartę w przeglądarce i skopiuj publiczny adres IP, a następnie: 9080. Zaloguj się przy użyciu nazwy użytkownika administratora wraz z hasłem administratora określonym w Azure Portal.

   

7. Teraz dotrzesz na stronę główną Striim. Istnieją trzy różne okienka — Pulpity nawigacyjne, Aplikacje i ŹródłoPrzegląd. Okienko Pulpity nawigacyjne umożliwia przenoszenie danych w czasie rzeczywistym i wizualizowanie ich. Okienko Aplikacje zawiera potoki danych przesyłania strumieniowego lub przepływy danych. Po prawej stronie znajduje się element SourcePreview, w którym można wyświetlić podgląd danych przed przeniesieniem.

8. Wybierz okienko Aplikacje , na razie skoncentrujemy się na tym okienku. Istnieje wiele przykładowych aplikacji, których można użyć do zapoznania się z artykułem Striim, jednak w tym artykule utworzysz własne. Wybierz przycisk Dodaj aplikację w prawym górnym rogu.

   

9. Istnieje kilka różnych sposobów tworzenia aplikacji Striim. Wybierz pozycję Rozpocznij od podstaw dla tego scenariusza.

   

10. Nadaj przyjazną nazwę aplikacji, na przykład oraToCosmosDB i wybierz pozycję Zapisz.

    

11. Dotrzesz do usługi Flow Projektant, gdzie możesz przeciągać i upuszczać łączniki skrzynki w celu utworzenia aplikacji przesyłania strumieniowego. Wpisz Oracle na pasku wyszukiwania, przeciągnij i upuść źródło Oracle CDC na kanwę aplikacji.

    

12. Wprowadź właściwości konfiguracji źródłowej wystąpienia Oracle. Nazwa źródłowa to tylko konwencja nazewnictwa aplikacji Striim. Można użyć nazwy, takiej jak src_onPremOracle. Wprowadź również inne szczegóły, takie jak typ adaptera, adres URL połączenia, nazwa użytkownika, hasło, nazwa tabeli. Wybierz pozycję Zapisz , aby kontynuować.

    

13. Teraz kliknij ikonę falowania strumienia, aby połączyć docelowe wystąpienie usługi Azure Cosmos DB.

    

14. Przed skonfigurowaniem obiektu docelowego upewnij się, że dodano certyfikat główny Baltimore do środowiska Java Striim.

15. Wprowadź właściwości konfiguracji docelowego wystąpienia usługi Azure Cosmos DB i wybierz pozycję Zapisz , aby kontynuować. Poniżej przedstawiono kluczowe parametry, które należy zwrócić uwagę:

    • Adapter — użyj narzędzia DatabaseWriter. Podczas zapisywania w usłudze Azure Cosmos DB dla bazy danych Apache Cassandra wymagana jest funkcja DatabaseWriter. Sterownik Cassandra 3.6.0 jest dołączony do rozwiązania Striim. Jeśli funkcja DatabaseWriter przekroczy liczbę jednostek RU aprowizowania w kontenerze usługi Azure Cosmos DB, aplikacja ulegnie awarii.

    • Adres URL połączenia — określ adres URL połączenia JDBC usługi Azure Cosmos DB. Adres URL ma format jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Nazwa użytkownika — określ nazwę konta usługi Azure Cosmos DB.

    • Hasło — określ klucz podstawowy konta usługi Azure Cosmos DB.

    • Tabele — tabele docelowe muszą mieć klucze podstawowe i nie można zaktualizować kluczy podstawowych.

    

    

16. Teraz uruchomimy aplikację Striim. Na górnym pasku menu wybierz pozycję Utworzono, a następnie pozycję Wdróż aplikację. W oknie wdrażania możesz określić, czy chcesz uruchamiać niektóre części aplikacji w określonych częściach topologii wdrożenia. Ponieważ działamy w prostej topologii wdrażania za pośrednictwem platformy Azure, użyjemy opcji domyślnej.

    

17. Teraz przejdziemy do przodu i wyświetlimy podgląd strumienia, aby zobaczyć dane przepływające przez striim. Kliknij ikonę falowania i kliknij ikonę oka obok niej. Po wdrożeniu możesz wyświetlić podgląd strumienia, aby zobaczyć przepływ danych. Wybierz ikonę falowania i gałkę oka obok niej. Wybierz przycisk Deployed (Wdrożone ) na górnym pasku menu, a następnie wybierz pozycję Start App (Uruchom aplikację).

    

18. Za pomocą czytnika CDC (Change Data Capture) funkcja Striim będzie pobierać tylko nowe zmiany w bazie danych. Jeśli masz dane przepływające przez tabele źródłowe, zobaczysz je. Jednak ponieważ jest to przykładowa tabela, źródło, które nie jest połączone z żadną aplikacją. Jeśli używasz przykładowego generatora danych, możesz wstawić łańcuch zdarzeń do bazy danych Oracle.

19. Zobaczysz dane przepływające przez platformę Striim. Narzędzie Striim pobiera również wszystkie metadane skojarzone z tabelą, co pomaga monitorować dane i upewnić się, że dane trafiają do właściwego miejsca docelowego.

    

20. Na koniec zalogujmy się do platformy Azure i przejdźmy do konta usługi Azure Cosmos DB. Odśwież Data Explorer i zobaczysz, że dane dotarły.

Korzystając z rozwiązania Striim na platformie Azure, można stale migrować dane do usługi Azure Cosmos DB z różnych źródeł, takich jak Oracle, Cassandra, MongoDB i różne inne do usługi Azure Cosmos DB. Aby dowiedzieć się więcej, odwiedź witrynę internetową Striim, pobierz bezpłatną 30-dniową wersję próbną rozwiązania Striim i wszelkie problemy podczas konfigurowania ścieżki migracji za pomocą rozwiązania Striim, prześlij wniosek o pomoc techniczną.

Następne kroki

• Jeśli migrujesz dane do usługi Azure Cosmso DB for NoSQL, zobacz , jak migrować dane do interfejsu API dla konta Cassandra przy użyciu rozwiązania Striim

• Monitorowanie i debugowanie danych za pomocą metryk usługi Azure Cosmos DB