Gegevens migreren naar Azure Cosmos DB SQL API-account met behulp van Striim

VAN TOEPASSING OP: SQL-API

De Striim-afbeelding in de Azure Marketplace biedt continue realtime gegevensverplaatsing van datawarehouses en databases naar Azure. Tijdens het verplaatsen van de gegevens kunt u inregeldenormalisatie, gegevenstransformatie, realtime analyses en scenario's voor gegevensrapportage uitvoeren. Het is eenvoudig om aan de slag te gaan met Striim om bedrijfsgegevens continu te verplaatsen naar Azure Cosmos DB SQL API. Azure biedt een marketplace-aanbieding die het eenvoudig maakt om Striim te implementeren en gegevens te migreren naar Azure Cosmos DB.

In dit artikel wordt beschreven hoe u Striim gebruikt om gegevens te migreren van een Oracle-database naar Azure Cosmos DB SQL API-account.

Vereisten

• Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

• Een Oracle-database die on-premises wordt uitgevoerd met enkele gegevens.

De Striim Marketplace-oplossing implementeren

1. Meld u aan bij de Azure Portal.

2. Selecteer Een resource maken en zoek naar Striim in Azure Marketplace. Selecteer de eerste optie en maak.

   

3. Voer vervolgens de configuratie-eigenschappen van het Striim-exemplaar in. De Striim-omgeving wordt geïmplementeerd in een virtuele machine. Voer in het deelvenster Basisinformatie de gebruikersnaam en het VM-wachtwoord van de VM in (dit wachtwoord wordt gebruikt voor SSH in de VM). Selecteer uw abonnement, resourcegroep en locatiedetails waar u Striim wilt implementeren. Als u klaar bent, selecteert u OK.

   

4. Kies in het deelvenster Striim-clusterinstellingen het type Striim-implementatie en de grootte van de virtuele machine.

   Instelling	Waarde	Beschrijving
   Implementatietype Striim	Zelfstandig	Striim kan worden uitgevoerd in een zelfstandige implementatie of clusterimplementatietypen. In de zelfstandige modus wordt de Striim-server geïmplementeerd op één virtuele machine en kunt u de grootte van de virtuele machines selecteren, afhankelijk van uw gegevensvolume. In de clustermodus wordt de Striim-server geïmplementeerd op twee of meer VM's met de geselecteerde grootte. Clusteromgevingen met meer dan 2 knooppunten bieden automatische hoge beschikbaarheid en failover. In deze zelfstudie kunt u de optie Zelfstandig selecteren. Gebruik de standaard VM Standard_F4s grootte.
   Naam van het Striim-cluster	<Striim_cluster_Name>	Naam van het Striim-cluster.
   Striim-clusterwachtwoord	<Striim_cluster_password>	Wachtwoord voor het cluster.

   Nadat u het formulier hebt ingevuld, selecteert u OK om door te gaan.

5. Configureer in het deelvenster Striim-toegangsinstellingen het openbare IP-adres (kies de standaardwaarden), de domeinnaam voor Striim en het beheerderswachtwoord dat u wilt gebruiken om u aan te melden bij de Striim-gebruikersinterface. Configureer een VNET en subnet (kies de standaardwaarden). Nadat u de gegevens invult, selecteert u OK om door te gaan.

   

6. Azure valideert de implementatie en controleert of alles er goed uitziet; Validatie duurt enkele minuten. Nadat de validatie is voltooid, selecteert u OK.

7. Controleer ten slotte de gebruiksvoorwaarden en selecteer Maken om uw Striim-exemplaar te maken.

De brondatabase configureren

In deze sectie configureert u de Oracle-database als de bron voor gegevens movement. U hebt het Oracle JDBC-stuurprogramma nodig om verbinding te maken met Oracle. Als u wijzigingen uit uw Oracle-brondatabase wilt lezen, kunt u de LogMiner- of XStream-API's gebruiken. Het Oracle JDBC-stuurprogramma moet aanwezig zijn in het Java-klassepad van Striim om gegevens uit de Oracle-database te lezen, schrijven of persistent te maken.

Download het stuurprogramma hebt gedownload naar uw lokale computer. U installeert deze later in het Striim-cluster.

De doeldatabase configureren

In deze sectie configureert u het Azure Cosmos DB SQL API-account als het doel voor gegevens movement.

1. Maak een Azure Cosmos DB SQL API-account met behulp van Azure Portal.

2. Navigeer naar het Data Explorer in uw Azure Cosmos-account. Selecteer Nieuwe container om een nieuwe container te maken. Stel dat u producten migreert en gegevens bestelt uit een Oracle-database naar Azure Cosmos DB. Maak een nieuwe database met de naam StriimDemo met een container met de naam Orders. De container inrichten met 1000 RUs (in dit voorbeeld worden 1000 RUs gebruikt, maar u moet de geschatte doorvoer voor uw workload gebruiken) en /ORDER_ID als de partitiesleutel. Deze waarden verschillen afhankelijk van uw brongegevens.

   

Oracle configureren voor Azure Cosmos DB gegevensstroom

1. Laten we nu teruggaan naar Striim. Voordat u met Striim communiceert, installeert u het Oracle JDBC-stuurprogramma dat u eerder hebt gedownload.

2. Navigeer naar het Striim-exemplaar dat u hebt geïmplementeerd in de Azure Portal. Selecteer de Verbinding maken in de bovenste menubalk en kopieer op het tabblad SSH de URL in het veld Aanmelden met lokaal VM-account.

   

3. Open een nieuw terminalvenster en voer de SSH-opdracht uit die u hebt gekopieerd uit Azure Portal. In dit artikel wordt gebruikgemaakt van terminal in een MacOS. U kunt vergelijkbare instructies volgen met PuTTY of een andere SSH-client op een Windows machine. Wanneer u hier om wordt gevraagd, typt u Ja om door te gaan en voert u het wachtwoord in dat u in de vorige stap hebt ingesteld voor de virtuele machine.

   

4. Open nu een nieuw terminaltabblad om het bestand copiedbc8.jar te kopiëren dat u eerder hebt gedownload. Gebruik de volgende SCP-opdracht om het JAR-bestand van uw lokale computer te kopiëren naar de map tmp van het Striim-exemplaar dat wordt uitgevoerd in Azure:

   cd <Directory_path_where_the_Jar_file_exists> 
   scp ojdbc8.jar striimdemo@striimdemo.westus.cloudapp.azure.com:/tmp
   

   

5. Ga vervolgens terug naar het venster waarin u SSH hebt gedaan voor het Striim-exemplaar en meld u aan als sudo. Verplaats het bestand hadbc8.jar uit de map /tmp naar de map lib van uw Striim-exemplaar met de volgende opdrachten:

   sudo su
   cd /tmp
   mv ojdbc8.jar /opt/striim/lib
   chmod +x ojdbc8.jar
   

   

6. Start vanuit hetzelfde terminalvenster de Striim-server opnieuw op door de volgende opdrachten uit te voeren:

   Systemctl stop striim-node
   Systemctl stop striim-dbms
   Systemctl start striim-dbms
   Systemctl start striim-node
   

7. Het duurt even om Striim op te starten. Als u de status wilt zien, voer dan de volgende opdracht uit:

   tail -f /opt/striim/logs/striim-node.log
   

8. Ga nu terug naar Azure en kopieer het openbare IP-adres van uw Striim-VM.

   

9. Als u naar de webinterface van Striim wilt navigeren, opent u een nieuw tabblad in een browser en kopieert u het openbare IP-adres gevolgd door: 9080. Meld u aan met behulp van de gebruikersnaam van de beheerder, samen met het beheerderswachtwoord dat u hebt opgegeven in de Azure Portal.

   

10. U komt nu bij de startpagina van Striim. Er zijn drie verschillende deelvensters: Dashboards, Apps en SourcePreview. In het deelvenster Dashboards kunt u gegevens in realtime verplaatsen en visualiseren. Het deelvenster Apps bevat uw pijplijnen voor streaminggegevens of gegevensstromen. Aan de rechterkant van de pagina staat SourcePreview, waar u een voorbeeld van uw gegevens kunt bekijken voordat u deze verplaatst.

11. Selecteer het deelvenster Apps. We richten ons nu op dit deelvenster. Er zijn verschillende voorbeeld-apps die u kunt gebruiken om meer te weten te komen over Striim, maar in dit artikel maakt u er zelf een. Selecteer de knop App toevoegen in de rechterbovenhoek.

    

12. Er zijn een aantal verschillende manieren om Striim-toepassingen te maken. Selecteer Beginnen met sjabloon om te beginnen met een bestaande sjabloon.

    

13. Typ in het veld Sjablonen zoeken 'Cosmos' en selecteer Doel: Azure Cosmos DB selecteer vervolgens Oracle CDC om te Azure Cosmos DB.

    

14. Noem uw toepassing op de volgende pagina. U kunt een naam zoals oraToCosmosDB geven en vervolgens Opslaan selecteren.

15. Voer vervolgens de bronconfiguratie van uw Oracle-bron-exemplaar in. Voer een waarde in voor de bronnaam. De bronnaam is slechts een naamconventie voor de Striim-toepassing. U kunt iets als src_onPremOracle. Voer waarden in voor de rest van de bronparameters URL, Gebruikersnaam, Wachtwoord, kies LogMiner als lezer om gegevens van Oracle te lezen. Selecteer Volgende om door te gaan.

    

16. Striim controleert uw omgeving en zorgt ervoor dat deze verbinding kan maken met uw Oracle-bron-exemplaar, over de juiste bevoegdheden beschikt en dat CDC correct is geconfigureerd. Zodra alle waarden zijn gevalideerd, selecteert u Volgende.

    

17. Selecteer de tabellen uit de Oracle-database die u wilt migreren. Laten we bijvoorbeeld de tabel Orders kiezen en Volgende selecteren.

    

18. Nadat u de brontabel hebt geselecteerd, kunt u complexere bewerkingen uitvoeren, zoals toewijzen en filteren. In dit geval maakt u alleen een replica van uw brontabel in Azure Cosmos DB. Selecteer dus Volgende om het doel te configureren

19. Nu gaan we het doel configureren:

    • Doelnaam: geef een gebruiksvriendelijke naam op voor het doel.
    • Invoer van: selecteer in de vervolgkeuzelijst de invoerstroom uit de invoerstroom die u hebt gemaakt in de Oracle-bronconfiguratie.
    • Verzamelingen: voer de doel- Azure Cosmos DB configuratie-eigenschappen in. De syntaxis van de verzamelingen is SourceSchema.SourceTable, TargetDatabase.TargetContainer. In dit voorbeeld zou de waarde 'SYSTEM' zijn. ORDERS, StriimDemo.Orders".
    • AccessKey: de PrimaryKey van uw Azure Cosmos-account.
    • ServiceEndpoint: de URI van uw Azure Cosmos-account. U vindt deze in de sectie Sleutels van de Azure Portal.

    Selecteer Opslaan en Volgende.

    

20. Vervolgens komt u bij de stroomontwerper, waar u connectors uit de doos kunt slepen en neerzetten om uw streamingtoepassingen te maken. U gaat op dit moment geen wijzigingen aanbrengen in de stroom. Implementeer de toepassing door de knop App implementeren te selecteren.

    

21. In het implementatievenster kunt u opgeven of u bepaalde onderdelen van uw toepassing wilt uitvoeren op specifieke onderdelen van uw implementatietopologie. Omdat we in een eenvoudige implementatietopologie via Azure worden uitgevoerd, gebruiken we de standaardoptie.

    

22. Na de implementatie kunt u een voorbeeld van de stroom bekijken om de gegevensstroom te bekijken. Selecteer het golfpictogram en de oogballon er naast. Selecteer de knop Geïmplementeerd in de bovenste menubalk en selecteer App starten.

    

23. Met behulp van een CDC(Change Data Capture)-lezer haalt Striim alleen nieuwe wijzigingen op in de database. Als er gegevens door uw brontabellen stromen, ziet u deze. Omdat dit echter een demotabel is, is de bron niet verbonden met een toepassing. Als u een voorbeeldgegevensgenerator gebruikt, kunt u een keten van gebeurtenissen in uw Oracle-database invoegen.

24. U ziet dat gegevens door het Striim-platform stromen. Striim haalt ook alle metagegevens op die aan uw tabel zijn gekoppeld. Dit is handig om de gegevens te controleren en ervoor te zorgen dat de gegevens op het juiste doel worden weergegeven.

    

25. Ten slotte melden we ons aan bij Azure en gaan we naar uw Azure Cosmos-account. Vernieuw Data Explorer en u ziet dat de gegevens zijn aangekomen.

    

Met behulp van de Striim-oplossing in Azure kunt u continu gegevens migreren naar Azure Cosmos DB vanuit verschillende bronnen, zoals Oracle, Cassandra, MongoDB en verschillende andere bronnen om ze Azure Cosmos DB. Ga voor meer informatie naar de Striim-website,download een gratis proefversie van Striim van 30dagen en voor eventuele problemen bij het instellen van het migratiepad met Striim, kunt u een ondersteuningsaanvraag indienen.

Volgende stappen

• Probeert u capaciteitsplanning uit te Azure Cosmos DB?

  • Als u alleen het aantal vcores en servers in uw bestaande databasecluster weet, leest u over het schatten van aanvraageenheden met vCores of vCCPUs
  • Als u typische aanvraagsnelheden voor uw huidige databaseworkload kent, leest u over het schatten van aanvraageenheden met behulp Azure Cosmos DB capacity planner

• Als u gegevens migreert naar Azure Cosmos DB SQL API, bekijkt u hoe u gegevens naar een Cassandra-API migreert met behulp van Striim

• Uw gegevens bewaken en fouten opsporen met Azure Cosmos DB metrische gegevens