Migrera data till Azure Cosmos DB API för Cassandra konto med Striim

  • Artikel
  • 7 minuter för att läsa

GÄLLER för: API för Cassandra

Striim-avbildningen på Azure Marketplace erbjuder kontinuerlig dataförflyttning i realtid från informationslager och databaser till Azure. När du flyttar data kan du utföra direkt avisering, datatransformering, aktivera realtidsanalys och datarapporteringsscenarier. Det är enkelt att komma igång med Striim för att kontinuerligt flytta företagsdata till Azure Cosmos DB API för Cassandra. Azure tillhandahåller ett Marketplace-erbjudande som gör det enkelt att distribuera Striim och migrera data till Azure Cosmos DB.

Den här artikeln visar hur du använder Striim för att migrera data från en Oracle-databas till ett Azure Cosmos DB API för Cassandra-konto.

Förutsättningar

Distribuera Striim Marketplace-lösningen

  1. Logga in på Azure-portalen.

  2. Välj Skapa en resurs och sök efter Striim på Azure Marketplace. Välj det första alternativet och Skapa.

    Hitta marknadsplatsobjekt i Striim

  3. Ange sedan konfigurationsegenskaperna för Striim-instansen. Striim-miljön distribueras i en virtuell dator. I fönstret Grundläggande anger du VM-användarnamnet , VM-lösenord(det här lösenordet används för att SSH ska ingå i den virtuella datorn). Välj den prenumeration, resursgrupp och platsinformation där du vill distribuera Striim. När du är klar väljer du OK.

    Konfigurera grundläggande inställningar för Striim

  4. I inställningsfönstret för Striim-kluster väljer du typ av Striim-distribution och storlek på den virtuella datorn.

    Inställning Värde Beskrivning
    Striim-distributionstyp Fristående Striim kan köras i en fristående distribution eller klusterdistributionstyper. Fristående läge distribuerar Striim-servern på en enda virtuell dator och du kan välja storlek på de virtuella datorerna beroende på din datavolym. Klusterläget distribuerar Striim-servern på två eller flera virtuella datorer med den valda storleken. Klustermiljöer med fler än 2 noder erbjuder automatisk hög tillgänglighet och redundans.

    I den här självstudien kan du välja fristående alternativ. Använd standardstorleken för den virtuella Standard_F4s datorn.
    Namnet på Striim-klustret <Striim_cluster_Name> Namnet på Striim-klustret.
    Lösenord för Striim-kluster <Striim_cluster_password> Lösenordet för klustret.

    När du har fyllt i formuläret väljer du OK för att fortsätta.

  5. I fönstret Striim-åtkomstinställningar konfigurerar du den offentliga IP-adressen (välj standardvärdena), domännamnet för Striim , administratörslösenordet som du vill använda för att logga in på Striim-användargränssnittet. Konfigurera ett VNET och undernät (välj standardvärdena). När du har fyllt i informationen väljer du OK för att fortsätta.

    Striim-åtkomstinställningar

  6. Azure validerar distributionen och ser till att allt ser bra ut. verifieringen tar några minuter att slutföra. När verifieringen är klar väljer du OK.

  7. Granska slutligen användningsvillkoren och välj Skapa för att skapa din Striim-instans.

Konfigurera källdatabasen

I det här avsnittet konfigurerar du Oracle-databasen som källa för dataförflyttning. Du behöver Oracle JDBC-drivrutinen för att ansluta till Oracle. Om du vill läsa ändringar från Oracle-källdatabasen kan du antingen använda LogMiner eller XStream-API:erna. Oracle JDBC-drivrutinen måste finnas i Striims Java-klassökväg för att läsa, skriva eller spara data från Oracle-databasen.

Ladda ned drivrutinen egdbc8.jar till den lokala datorn. Du kommer att installera det i Striim-klustret senare.

Konfigurera måldatabasen

I det här avsnittet konfigurerar du Azure Cosmos DB API för Cassandra som mål för dataförflyttning.

  1. Skapa ett Azure Cosmos DB API för Cassandra-konto med hjälp av Azure Portal.

  2. Gå till Datautforskaren i ditt Azure Cosmos-konto. Välj Ny tabell för att skapa en ny container. Anta att du migrerar produkter och beställer data från Oracle-databasen till Azure Cosmos DB. Skapa ett nytt nyckelutrymme med namnet StriimDemo med containern Orders. Etablera containern med 1 000 RU:er (i det här exemplet används 1 000 RU:er, men du bör använda det uppskattade dataflödet för din arbetsbelastning) och /ORDER_ID som primärnyckel. Dessa värden varierar beroende på dina källdata.

    Skapa API för Cassandra konto

Konfigurera Oracle för Azure Cosmos DB för dataflöde

  1. Nu ska vi gå tillbaka till Striim. Innan du interagerar med Striim installerar du Oracle JDBC-drivrutinen som du laddade ned tidigare.

  2. Gå till den Striim-instans som du distribuerade i Azure Portal. Välj knappen Anslut den övre menyraden. På fliken SSH kopierar du URL:en i fältet Logga in med lokalt konto för virtuell dator.

    Hämta SSH-URL:en

  3. Öppna ett nytt terminalfönster och kör det SSH-kommando som du kopierade från Azure Portal. I den här artikeln används terminalen i en MacOS. Du kan följa liknande instruktioner med PuTTY eller en annan SSH-klient på en Windows dator. När du uppmanas till det skriver du ja för att fortsätta och anger det lösenord som du har angett för den virtuella datorn i föregående steg.

    Anslut till virtuell Striim-dator

  4. Öppna nu en ny terminalflik för att kopiera filen ojdbc8.jar som du laddade ned tidigare. Använd följande SCP-kommando för att kopiera jar-filen från din lokala dator till tmp-mappen för den Striim-instans som körs i Azure:

    cd <Directory_path_where_the_Jar_file_exists> 
scp ojdbc8.jar striimdemo@striimdemo.westus.cloudapp.azure.com:/tmp

    Kopiera Jar-filen från platsdatorn till Striim

  5. Gå sedan tillbaka till fönstret där du gjorde SSH till Striim-instansen och Logga in som sudo. Flytta filen egdbc8.jar från katalogen /tmp till katalogen lib för din Striim-instans med följande kommandon:

    sudo su
cd /tmp
mv ojdbc8.jar /opt/striim/lib
chmod +x ojdbc8.jar

    Flytta Jar-filen till lib-mappen

  6. Starta om Striim-servern från samma terminalfönster genom att köra följande kommandon:

    Systemctl stop striim-node
Systemctl stop striim-dbms
Systemctl start striim-dbms
Systemctl start striim-node

  7. Det tar en minut att starta Striim. Om du vill se status kör du följande kommando:

    tail -f /opt/striim/logs/striim-node.log

  8. Gå nu tillbaka till Azure och kopiera den offentliga IP-adressen för din virtuella Striim-dator.

    Kopiera IP-adress för virtuell Striim-dator

  9. Om du vill navigera till Striims webbgränssnitt öppnar du en ny flik i en webbläsare och kopierar den offentliga IP-adressen följt av: 9080. Logga in med administratörsnamnet, tillsammans med det administratörslösenord som du angav i Azure Portal.

    Logga in på Striim

  10. Nu kommer du till Striims startsida. Det finns tre olika fönster – Instrumentpaneler, Appar och SourceFörhandsgranskning. I fönstret Instrumentpaneler kan du flytta data i realtid och visualisera dem. Fönstret Appar innehåller dina strömmande datapipelines eller dataflöden. Till höger på sidan finns SourcePreview där du kan förhandsgranska dina data innan du flyttar dem.

  11. Välj fönstret Appar. Vi fokuserar på det här fönstret för tillfället. Det finns en mängd olika exempelappar som du kan använda för att lära dig mer om Striim, men i den här artikeln skapar du egna. Välj knappen Lägg till app i det övre högra hörnet.

    Lägga till Striim-appen

  12. Det finns några olika sätt att skapa Striim-program. Välj Starta från början för det här scenariot.

    Starta appen från grunden

  13. Ge programmet ett eget namn, till exempel oraToCosmosDB, och välj Spara.

    Skapa ett nytt program

  14. Du kommer till Flow Designer, där du kan dra och släppa anslutningsapparna för att skapa dina strömmande program. Skriv Oracle i sökfältet, dra och släpp Oracle CDC-källan på apparbetsytan.

    Oracle CDC-källa

  15. Ange källkonfigurationsegenskaperna för Oracle-instansen. Källnamnet är bara en namngivningskonvention för Striim-programmet. Du kan använda ett namn som src_onPremOracle. Ange även annan information som Adaptertyp, anslutnings-URL, användarnamn, lösenord, tabellnamn. Välj Spara för att fortsätta.

    Konfigurera källparametrar

  16. Klicka nu på vågikonen för dataströmmen för att ansluta Azure Cosmos DB instansen.

    Anslut till mål

  17. Innan du konfigurerar målet kontrollerar du att du har lagt till ett Baltimore-rotcertifikat i Striims Java-miljö.

  18. Ange konfigurationsegenskaperna för målinstansen Azure Cosmos DB och välj Spara för att fortsätta. Här är viktiga parametrar att notera:

    • Adapter – Använd DatabaseWriter. När du skriver till Azure Cosmos DB API för Cassandra krävs DatabaseWriter. Cassandra-drivrutinen 3.6.0 paketeras med Striim. Om DatabaseWriter överskrider antalet RU:er som har etablerats i Azure Cosmos-containern kommer programmet att krascha.

    • Anslutnings-URL – Ange Azure Cosmos DB JDBC-anslutnings-URL. URL:en har formatet jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Användarnamn – Ange namnet på ditt Azure Cosmos-konto.

    • Lösenord – Ange primärnyckeln för ditt Azure Cosmos-konto.

    • Tabeller – Måltabeller måste ha primära nycklar och primära nycklar kan inte uppdateras.

    Skärmbild som visar de konfigurerbara målegenskaperna.

    Konfigurera målegenskaper

  19. Nu ska vi köra Striim-programmet. I den övre menyraden väljer du Skapad och sedan Distribuera app. I distributionsfönstret kan du ange om du vill köra vissa delar av programmet på specifika delar av distributionstopologin. Eftersom vi kör i en enkel distributionstopologi via Azure använder vi standardalternativet .

    Distribuera appen

  20. Nu ska vi förhandsgranska dataströmmen för att se data som flödar genom Striim. Klicka på vågikonen och klicka på ögonikonen bredvid den. När du har distribuerat kan du förhandsgranska dataströmmen för att se data som flödar genom. Välj vågikonen och ögongloben bredvid den. Välj knappen Distribuerad på den översta menyraden och välj Starta app.

    Starta appen

  21. Genom att använda en CDC-läsare (Change Data Capture) hämtar Striim endast nya ändringar i databasen. Om du har data som flödar genom dina källtabeller ser du dem. Men eftersom det här är en exempeltabell är källan som inte är ansluten till något program. Om du använder en exempeldatagenerator kan du infoga en händelsekedja i Oracle-databasen.

  22. Du ser att data flödar genom Striim-plattformen. Striim hämtar även alla metadata som är associerade med din tabell, vilket är användbart för att övervaka data och se till att data hamnar på rätt mål.

    Konfigurera CDC-pipelinen

  23. Slutligen loggar vi in på Azure och går till ditt Azure Cosmos-konto. Uppdatera Datautforskaren så ser du att data har anlänt.

Genom att använda Striim-lösningen i Azure kan du kontinuerligt migrera data till Azure Cosmos DB från olika källor som Oracle, Cassandra, MongoDB och flera andra till Azure Cosmos DB. Om du vill veta mer kan du besöka Striimswebbplats, ladda ned en kostnadsfri 30-dagarsutvärderingsversion av Striim och skicka en supportbegäran om du har problem med att konfigurera migreringsvägen med Striim.

Nästa steg