Adatok migrálása Az Azure Cosmos DB for NoSQL-fiókba a Striim használatával

A KÖVETKEZŐRE VONATKOZIK: NoSQL

Az Azure Marketplace Striim-rendszerképe folyamatos valós idejű adatáthelyezési lehetőséget biztosít az adattárházakból és adatbázisokból az Azure-ba. Az adatok áthelyezése közben végezheti el az in-line denormalizálást, az adatátalakítást, a valós idejű elemzések és az adatjelentési forgatókönyvek engedélyezését. A Striim használatának első lépéseként folyamatosan áthelyezheti a vállalati adatokat az Azure Cosmos DB for NoSQL-be. Az Azure egy piactéri ajánlat, amely megkönnyíti a Striim üzembe helyezését és az adatok Azure Cosmos DB-be való migrálását.

Ez a cikk bemutatja, hogyan lehet a Striim használatával adatokat migrálni egy Oracle-adatbázisból egy Azure Cosmos DB for NoSQL-fiókba.

Előfeltételek

• Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .

• Egy helyszíni Oracle-adatbázis, benne néhány adattal.

A Striim Marketplace-megoldás üzembe helyezése

1. Jelentkezzen be az Azure Portalra.

2. Válassza az Erőforrás létrehozása lehetőséget, és keressen rá a Striim kifejezésre az Azure Marketplace-en. Válassza az első lehetőséget és a Létrehozás lehetőséget.

   

3. Ezután adja meg a Striim-példány konfigurációs tulajdonságait. A Striim-környezet egy virtuális gépen van üzembe helyezve. Az Alapszintű beállítások panelen adja meg a virtuális gép felhasználónevét, a virtuális gép jelszavát (ezt a jelszót használja az SSH a virtuális gépbe való SSH-hoz). Válassza ki az előfizetés, az erőforráscsoport és a hely adatait , ahol telepíteni szeretné a Striim-et. Ha elkészült, válassza az OK gombot.

   

4. A Striim-fürt beállításai panelen válassza ki a Striim üzembe helyezésének típusát és a virtuális gép méretét.

   Beállítás	Érték	Leírás
   Striim üzembehelyezési típus	Különálló	A Striim önálló vagy fürttelepítési típusokban is futtatható. Az önálló mód a Striim-kiszolgálót egyetlen virtuális gépen helyezi üzembe, és az adatmennyiségtől függően kiválaszthatja a virtuális gépek méretét. A fürt mód a Striim-kiszolgálót két vagy több, a kiválasztott méretű virtuális gépen helyezi üzembe. A több mint 2 csomóponttal rendelkező fürtkörnyezetek automatikusan magas rendelkezésre állást és feladatátvételt biztosítanak. Ebben az oktatóanyagban kiválaszthatja az Önálló lehetőséget. Használja az alapértelmezett "Standard_F4s" méretű virtuális gépet.
   A Striim-fürt neve	<Striim_cluster_Name>	A Striim-fürt neve.
   Striim-fürt jelszava	<Striim_cluster_password>	A fürt jelszava.

   Az űrlap kitöltése után kattintson az OK gombra a folytatáshoz.

5. A Striim hozzáférési beállításai panelen konfigurálja a Nyilvános IP-címet (válassza ki az alapértelmezett értékeket), a Striim tartománynevét, Rendszergazda jelszót, amelyet a Striim felhasználói felületére való bejelentkezéshez szeretne használni. Virtuális hálózat és alhálózat konfigurálása (válassza ki az alapértelmezett értékeket). A részletek kitöltése után kattintson az OK gombra a folytatáshoz.

   

6. Az Azure ellenőrzi az üzembe helyezést, és meggyőződik arról, hogy minden rendben van; az ellenőrzés végrehajtása néhány percet vesz igénybe. Az ellenőrzés befejezése után válassza az OK gombot.

7. Végül tekintse át a használati feltételeket, és válassza a Létrehozás lehetőséget a Striim-példány létrehozásához.

A forrásadatbázis konfigurálása

Ebben a szakaszban az Oracle-adatbázist konfigurálja az adatáthelyezési forrásként. A Striim-kiszolgálóhoz tartozik az Oracle JDBC-illesztő, amely az Oracle-hez való csatlakozáshoz használható. A forrás Oracle-adatbázis módosításainak olvasásához használhatja a LogMinert vagy az XStream API-kat. Az Oracle JDBC-illesztő megtalálható a Striim Java-osztályútvonalán az Oracle-adatbázisból származó adatok olvasásához, írásához vagy megőrzéséhez.

A céladatbázis konfigurálása

Ebben a szakaszban az Azure Cosmos DB for NoSQL-fiókot fogja konfigurálni az adatáthelyezési célként.

1. Hozzon létre egy Azure Cosmos DB for NoSQL-fiókot a Azure Portal használatával.

2. Lépjen az Azure Cosmos DB-fiók Data Explorer paneljére. Új tároló létrehozásához válassza az Új tároló lehetőséget. Tegyük fel, hogy termékeket migrál, és adatokat rendel az Oracle-adatbázisból az Azure Cosmos DB-be. Hozzon létre egy StriimDemo nevű új adatbázist egy Orders nevű tárolóval. A tároló kiépítése 1000 kérelemegységgel (ez a példa 1000 kérelemegységet használ, de a számítási feladathoz becsült átviteli sebességet kell használnia), és /ORDER_ID partíciókulcsként. Ezek az értékek a forrásadatoktól függően eltérőek lesznek.

   

Oracle konfigurálása az Azure Cosmos DB-hez adatfolyamként

1. Lépjen a Azure Portal üzembe helyezett Striim-példányra. Válassza a Csatlakozás gombot a felső menüsávon, majd az SSH lapon másolja az URL-címet a Bejelentkezés a virtuális gép helyi fiókjával mezőbe.

   

2. Nyisson meg egy új terminálablakot, és futtassa a Azure Portal kimásolt SSH-parancsot. Ez a cikk terminált használ a MacOS-ben, és hasonló utasításokat követhet egy SSH-ügyféllel Egy Windows rendszerű gépen. Amikor a rendszer kéri, írja be az igen értéket a folytatáshoz, és adja meg a virtuális géphez az előző lépésben beállított jelszót .

   

3. Ugyanabból a terminálablakból indítsa újra a Striim-kiszolgálót a következő parancsok végrehajtásával:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. A Striim indítása egy percet vesz igénybe. Ha látni szeretné az állapotot, futtassa a következő parancsot:

   tail -f /opt/striim/logs/striim-node.log
   

5. Most lépjen vissza az Azure-ba, és másolja ki a Striim virtuális gép nyilvános IP-címét.

   

6. A Striim webes felhasználói felületére való navigáláshoz nyisson meg egy új lapot egy böngészőben, és másolja a nyilvános IP-címet, majd a következőt: 9080. Jelentkezzen be a rendszergazdai felhasználónévvel, valamint a Azure Portal megadott rendszergazdai jelszóval.

   

7. Most megérkezik Striim kezdőlapjára. Három különböző panel található : Irányítópultok, Alkalmazások és SourcePreview. Az Irányítópultok panelen valós időben helyezhet át adatokat, és megjelenítheti azokat. Az Alkalmazások panel a streamelt adatfolyamokat vagy adatfolyamokat tartalmazza. A lap jobb oldalán található a SourcePreview, ahol az áthelyezés előtt megtekintheti az adatokat.

8. Válassza az Alkalmazások panelt, és egyelőre erre a panelre összpontosítunk. Számos mintaalkalmazást használhat a Striim megismeréséhez, de ebben a cikkben saját alkalmazásokat fog létrehozni. Válassza az Alkalmazás hozzáadása gombot a jobb felső sarokban.

   

9. A Striim-alkalmazások létrehozásának néhány különböző módja van. Válassza a Start with Template (Kezdés sablonnal ) lehetőséget egy meglévő sablonnal való kezdéshez.

   

10. A Sablonok keresése mezőbe írja be a "Cosmos" kifejezést, és válassza a Cél: Azure Cosmos DB lehetőséget, majd válassza az Oracle CDC-t az Azure Cosmos DB-be.

    

11. A következő lapon nevezze el az alkalmazást. Megadhat egy nevet, például oraToCosmosDB , majd válassza a Mentés lehetőséget.

12. Ezután adja meg a forrás Oracle-példány forráskonfigurációját. Adjon meg egy értéket a Forrásnév mezőben. A forrásnév csak egy elnevezési konvenció a Striim-alkalmazáshoz. Ehhez hasonlót használhat src_onPremOracle. Adjon meg értékeket a forrásparaméterek URL-címéhez, a felhasználónévhez, a jelszóhoz, majd válassza a LogMiner elemet olvasóként az Oracle adatainak olvasásához. A folytatáshoz válassza a Tovább gombot.

    

13. A Striim ellenőrzi a környezetet, és ellenőrzi, hogy képes-e csatlakozni a forrás Oracle-példányhoz, rendelkezik-e a megfelelő jogosultságokkal, és hogy a CDC megfelelően lett-e konfigurálva. Az összes érték ellenőrzése után válassza a Tovább gombot.

    

14. Válassza ki a migrálni kívánt Oracle-adatbázis tábláját. Például válassza ki a Rendelések táblát, és válassza a Tovább gombot.

    

15. A forrástábla kiválasztása után összetettebb műveleteket is elvégezhet, például a leképezést és a szűrést. Ebben az esetben csak a forrástábla replikáját fogja létrehozni az Azure Cosmos DB-ben. A cél konfigurálásához válassza a Tovább gombot

16. Most konfiguráljuk a célt:

    • Cél neve – Adjon meg egy rövid nevet a célnak.
    • Input From – A legördülő listából válassza ki a forrás Oracle-konfigurációban létrehozott bemeneti adatfolyamot.
    • Gyűjtemények – Adja meg a cél Azure Cosmos DB konfigurációs tulajdonságait. A gyűjtemények szintaxisa: SourceSchema.SourceTable, TargetDatabase.TargetContainer. Ebben a példában az érték a következő lenne: "SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey – Az Azure Cosmos DB-fiók PrimaryKey kulcsa.
    • ServiceEndpoint – Az Azure Cosmos DB-fiók URI-ja, amely a Azure Portal Kulcsok szakaszában található.

    Válassza a Mentés és a Tovább lehetőséget.

    

17. Ezután megérkezik a folyamattervezőhöz, ahol húzással hozhatja létre a streamelési alkalmazásokat a dobozos összekötőkből. A folyamat ezen a ponton nem módosul. lépjen tovább, és telepítse az alkalmazást az Alkalmazás telepítése gombra kattintva.

    

18. Az üzembe helyezési ablakban megadhatja, hogy az alkalmazás bizonyos részeit az üzembehelyezési topológia egyes részein szeretné-e futtatni. Mivel egyszerű üzembehelyezési topológiában futunk az Azure-on keresztül, az alapértelmezett beállítást fogjuk használni.

    

19. Az üzembe helyezés után megtekintheti az adatfolyam előnézetét, hogy láthassa az adatfolyamot. Válassza ki a hullám ikont és a mellette lévő szemgolyót. Válassza az Üzembe helyezés gombot a felső menüsávon, és válassza az Alkalmazás indítása lehetőséget.

    

20. A CDC(Change Data Capture) olvasó használatával a Striim csak az új módosításokat fogja átvenni az adatbázisban. Ha az adatok a forrástáblákon keresztül áramlanak, látni fogja. Mivel azonban ez egy bemutató tábla, a forrás nem csatlakozik egyetlen alkalmazáshoz sem. Ha mintaadatgenerátort használ, eseményláncot szúrhat be az Oracle-adatbázisba.

21. Az adatok a Striim platformon keresztül áramlanak. A Striim a táblához társított összes metaadatot is felveszi, ami hasznos lehet az adatok monitorozásához és annak biztosításához, hogy az adatok a megfelelő célhoz érjenek.

    

22. Végül jelentkezzen be az Azure-ba, és lépjen az Azure Cosmos DB-fiókjához. Frissítse a Data Explorer, és láthatja, hogy az adatok megérkeztek.

    

A Striim megoldás azure-beli használatával folyamatosan migrálhatja az adatokat az Azure Cosmos DB-be különböző forrásokból, például oracle, Cassandra, MongoDB és más forrásokból az Azure Cosmos DB-be. További információért látogasson el a Striim webhelyére, töltse le a Striim ingyenes 30 napos próbaverzióját, és a Striim migrálási útvonalának beállításával kapcsolatos problémák esetén küldjön támogatási kérést.

Következő lépések

• Kapacitástervezést szeretne végezni az Azure Cosmos DB-be való migráláshoz?

  • Ha csak a meglévő adatbázisfürt virtuális magjainak és kiszolgálóinak számát ismeri, olvassa el a kérelemegységek virtuális magok vagy vCPU-k használatával történő becslését ismertető cikket.
  • Ha ismeri az aktuális adatbázis számítási feladatának jellemző kérési arányait, olvassa el a kérelemegységek becslését az Azure Cosmos DB Capacity Planner használatával

• Ha adatokat migrál az Azure Cosmos DB for NoSQL-be, tekintse meg, hogyan migrálhat adatokat a Cassandra-fiók API-ba a Striim használatával

• Adatok monitorozása és hibakeresése Azure Cosmos DB-metrikákkal