Migrera data till Azure Cosmos DB SQL API-konto med Striim

GÄLLER FÖR: SQL API

Striim-avbildningen på Azure Marketplace erbjuder kontinuerlig dataförflyttning i realtid från informationslager och databaser till Azure. När du flyttar data kan du utföra direkt avisering, datatransformering, aktivera realtidsanalys och datarapporteringsscenarier. Det är enkelt att komma igång med Striim för att kontinuerligt flytta företagsdata till Azure Cosmos DB SQL API. Azure tillhandahåller ett Marketplace-erbjudande som gör det enkelt att distribuera Striim och migrera data till Azure Cosmos DB.

Den här artikeln visar hur du använder Striim för att migrera data från en Oracle-databas till ett Azure Cosmos DB SQL API-konto.

Förutsättningar

• Om du inte har en Azure-prenumeration kandu skapa ett kostnadsfritt konto innan du börjar.

• En Oracle-databas som körs lokalt med vissa data.

Distribuera Striim Marketplace-lösningen

1. Logga in på Azure-portalen.

2. Välj Skapa en resurs och sök efter Striim på Azure Marketplace. Välj det första alternativet och Skapa.

   

3. Ange sedan konfigurationsegenskaperna för Striim-instansen. Striim-miljön distribueras på en virtuell dator. I fönstret Grundläggande anger du VM-användarnamnet , VM-lösenord(det här lösenordet används för att SSH ska ingå i den virtuella datorn). Välj information om prenumeration, resursgrupp och plats där du vill distribuera Striim. När du är klar väljer du OK.

   

4. I inställningsfönstret för Striim-kluster väljer du typ av Striim-distribution och storlek på den virtuella datorn.

   Inställning	Värde	Beskrivning
   Striim-distributionstyp	Fristående	Striim kan köras i en fristående distribution eller klusterdistributionstyper. Fristående läge distribuerar Striim-servern på en enda virtuell dator och du kan välja storlek på de virtuella datorerna beroende på din datavolym. Klusterläget distribuerar Striim-servern på två eller flera virtuella datorer med den valda storleken. Klustermiljöer med fler än 2 noder erbjuder automatisk hög tillgänglighet och redundans. I den här självstudien kan du välja fristående alternativ. Använd standardstorleken för den virtuella Standard_F4s datorn.
   Namnet på Striim-klustret	<Striim_cluster_Name>	Namnet på Striim-klustret.
   Lösenord för Striim-kluster	<Striim_cluster_password>	Lösenordet för klustret.

   När du har fyllt i formuläret väljer du OK för att fortsätta.

5. I fönstret Striim-åtkomstinställningar konfigurerar du den offentliga IP-adressen (välj standardvärdena), domännamnet för Striim , administratörslösenordet som du vill använda för att logga in på Striim-användargränssnittet. Konfigurera ett VNET och undernät (välj standardvärdena). När du har fyllt i informationen väljer du OK för att fortsätta.

   

6. Azure validerar distributionen och ser till att allt ser bra ut. verifieringen tar några minuter att slutföra. När verifieringen är klar väljer du OK.

7. Granska slutligen användningsvillkoren och välj Skapa för att skapa din Striim-instans.

Konfigurera källdatabasen

I det här avsnittet konfigurerar du Oracle-databasen som källa för dataförflyttning. Du behöver Oracle JDBC-drivrutinen för att ansluta till Oracle. Om du vill läsa ändringar från Oracle-källdatabasen kan du antingen använda LogMiner eller XStream-API:erna. Oracle JDBC-drivrutinen måste finnas i Striims Java-klassökväg för att läsa, skriva eller spara data från Oracle-databasen.

Ladda ned drivrutinen egdbc8.jar till den lokala datorn. Du kommer att installera det i Striim-klustret senare.

Konfigurera måldatabasen

I det här avsnittet konfigurerar du Azure Cosmos DB SQL API-kontot som mål för dataförflyttning.

1. Skapa ett Azure Cosmos DB SQL API-konto med hjälp av Azure Portal.

2. Gå till Datautforskaren Azure Cosmos-kontot. Välj Ny container för att skapa en ny container. Anta att du migrerar produkter och beställer data från Oracle-databasen till Azure Cosmos DB. Skapa en ny databas med namnet StriimDemo med en container med namnet Orders. Etablera containern med 1 000 RU:er (i det här exemplet används 1 000 RU:er, men du bör använda det uppskattade dataflödet för din arbetsbelastning) och /ORDER_ID som partitionsnyckel. Dessa värden varierar beroende på dina källdata.

   

Konfigurera Oracle för Azure Cosmos DB dataflöde

1. Nu ska vi gå tillbaka till Striim. Innan du interagerar med Striim installerar du Oracle JDBC-drivrutinen som du laddade ned tidigare.

2. Gå till den Striim-instans som du distribuerade i Azure Portal. Välj knappen Anslut den övre menyraden och kopiera URL:en i fältet Logga in med lokalt konto för virtuell dator på fliken SSH.

   

3. Öppna ett nytt terminalfönster och kör det SSH-kommando som du kopierade från Azure Portal. I den här artikeln används terminalen i en MacOS. Du kan följa liknande instruktioner med PuTTY eller en annan SSH-klient på en Windows dator. När du uppmanas till det skriver du ja för att fortsätta och anger det lösenord som du har angett för den virtuella datorn i föregående steg.

   

4. Öppna nu en ny terminalflik för att kopiera filen ojdbc8.jar som du laddade ned tidigare. Använd följande SCP-kommando för att kopiera jar-filen från din lokala dator till tmp-mappen för den Striim-instans som körs i Azure:

   cd <Directory_path_where_the_Jar_file_exists> 
   scp ojdbc8.jar striimdemo@striimdemo.westus.cloudapp.azure.com:/tmp
   

   

5. Gå sedan tillbaka till fönstret där du gjorde SSH till Striim-instansen och Logga in som sudo. Flytta filen egdbc8.jar från katalogen /tmp till katalogen lib för din Striim-instans med följande kommandon:

   sudo su
   cd /tmp
   mv ojdbc8.jar /opt/striim/lib
   chmod +x ojdbc8.jar
   

   

6. Starta om Striim-servern från samma terminalfönster genom att köra följande kommandon:

   Systemctl stop striim-node
   Systemctl stop striim-dbms
   Systemctl start striim-dbms
   Systemctl start striim-node
   

7. Det tar en minut att starta Striim. Om du vill se statusen kör du följande kommando:

   tail -f /opt/striim/logs/striim-node.log
   

8. Gå nu tillbaka till Azure och kopiera den offentliga IP-adressen för din virtuella Striim-dator.

   

9. Om du vill navigera till Striims webbgränssnitt öppnar du en ny flik i en webbläsare och kopierar den offentliga IP-adressen följt av: 9080. Logga in med administratörsnamnet, tillsammans med det administratörslösenord som du angav i Azure Portal.

   

10. Nu kommer du till Striims startsida. Det finns tre olika fönster – Instrumentpaneler, Appar och SourceFörhandsgranskning. I fönstret Instrumentpaneler kan du flytta data i realtid och visualisera dem. Fönstret Appar innehåller dina strömmande datapipelines eller dataflöden. Till höger på sidan finns SourcePreview där du kan förhandsgranska dina data innan du flyttar dem.

11. Välj fönstret Appar. Vi fokuserar på det här fönstret för tillfället. Det finns en mängd olika exempelappar som du kan använda för att lära dig mer om Striim, men i den här artikeln skapar du egna. Välj knappen Lägg till app i det övre högra hörnet.

    

12. Det finns några olika sätt att skapa Striim-program. Välj Börja med mall för att börja med en befintlig mall.

    

13. I fältet Sök efter mallar skriver du "Cosmos" och väljer Mål: Azure Cosmos DB sedan Oracle CDC för att Azure Cosmos DB.

    

14. Ge programmet namnet på nästa sida. Du kan ange ett namn som oraToCosmosDB och sedan välja Spara.

15. Ange sedan källkonfigurationen för Oracle-källinstansen. Ange ett värde för källnamnet. Källnamnet är bara en namngivningskonvention för Striim-programmet. Du kan använda något som liknar src_onPremOracle. Ange värden för resten av källparametrarna URL, Användarnamn, Lösenord, välj LogMiner som läsare för att läsa data från Oracle. Fortsätt genom att välja Nästa.

    

16. Striim kontrollerar din miljö och ser till att den kan ansluta till oracle-källinstansen, har rätt behörigheter och att CDC har konfigurerats korrekt. När alla värden har verifierats väljer du Nästa.

    

17. Välj de tabeller från Oracle-databasen som du vill migrera. Vi kan till exempel välja tabellen Beställningar och välja Nästa.

    

18. När du har valt källtabellen kan du göra mer komplicerade åtgärder, till exempel mappning och filtrering. I det här fallet skapar du bara en replik av källtabellen i Azure Cosmos DB. Välj därför Nästa för att konfigurera målet

19. Nu ska vi konfigurera målet:

    • Målnamn – Ange ett eget namn för målet.
    • Indata från – I listrutan väljer du indataströmmen från den som du skapade i Oracle-källkonfigurationen.
    • Samlingar– Ange Azure Cosmos DB konfigurationsegenskaper. Syntaxen för samlingar är SourceSchema.SourceTable, TargetDatabase.TargetContainer. I det här exemplet skulle värdet vara "SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey – PrimaryKey för ditt Azure Cosmos-konto.
    • ServiceEndpoint – URI:en för ditt Azure Cosmos-konto finns under avsnittet Nycklar i Azure Portal.

    Välj Spara och nästa.

    

20. Nu kommer du till flödesdesignern, där du kan dra och släppa anslutningsappar för att skapa dina strömmande program. Du kommer inte att göra några ändringar i flödet i det här läget. så gå vidare och distribuera programmet genom att välja knappen Distribuera app.

    

21. I distributionsfönstret kan du ange om du vill köra vissa delar av programmet på specifika delar av distributionstopologin. Eftersom vi kör i en enkel distributionstopologi via Azure använder vi standardalternativet .

    

22. När du har distribuerat kan du förhandsgranska dataströmmen för att se data som flödar genom. Välj vågikonen och ögongloben bredvid den. Välj knappen Distribuerad på den översta menyraden och välj Starta app.

    

23. Genom att använda en CDC-läsare (Change Data Capture) hämtar Striim endast nya ändringar i databasen. Om du har data som flödar genom dina källtabeller visas de. Men eftersom det här är en demotabell är källan inte ansluten till något program. Om du använder en exempeldatagenerator kan du infoga en händelsekedja i Oracle-databasen.

24. Du ser att data flödar genom Striim-plattformen. Striim hämtar även alla metadata som är associerade med din tabell, vilket är användbart för att övervaka data och se till att data hamnar på rätt mål.

    

25. Slutligen loggar vi in på Azure och går till ditt Azure Cosmos-konto. Uppdatera Datautforskaren och du kan se att data har anlänt.

    

Genom att använda Striim-lösningen i Azure kan du kontinuerligt migrera data till Azure Cosmos DB från olika källor som Oracle, Cassandra, MongoDB och flera andra till Azure Cosmos DB. Om du vill veta mer kan du besöka Striimswebbplats, ladda ned en kostnadsfri 30-dagarsutvärderingsversion av Striim och skicka en supportbegäran om du har problem med att konfigurera migreringsvägen med Striim.

Nästa steg

• Försöker du göra kapacitetsplanering för en migrering till Azure Cosmos DB?

  • Om allt du vet är antalet virtuella kärnor och servrar i ditt befintliga databaskluster kan du läsa om att uppskatta enheter för programbegäran med hjälp av virtuella kärnor eller virtuella processorer
  • Om du känner till vanliga begärandefrekvenser för din aktuella databasarbetsbelastning kan du läsa om att uppskatta enheter för programbegäran med Azure Cosmos DB kapacitetsplaneraren

• Om du migrerar data till ett Azure Cosmos DB SQL-API kan du se hur du migrerar data till API för Cassandra-konto med Striim

• Övervaka och felsöka data med Azure Cosmos DB mått