Adatok migrálása Az Apache Cassandra-fiókhoz készült Azure Cosmos DB-fiókba a Striim használatával

A KÖVETKEZŐKRE VONATKOZIK: Cassandra

Az Azure Marketplace Striim-rendszerképe folyamatos valós idejű adatáthelyezési lehetőséget biztosít az adattárházakból és adatbázisokból az Azure-ba. Az adatok áthelyezése közben végezheti el az in-line denormalizálást, az adatátalakítást, a valós idejű elemzések és az adatjelentési forgatókönyvek engedélyezését. A Striim használatának első lépéseként folyamatosan áthelyezheti a vállalati adatokat az Apache Cassandra-hoz készült Azure Cosmos DB-be. Az Azure egy piactéri ajánlat, amely megkönnyíti a Striim üzembe helyezését és az adatok Azure Cosmos DB-be való migrálását.

Ez a cikk bemutatja, hogyan lehet a Striim használatával adatokat migrálni egy Oracle-adatbázisból egy Azure Cosmos DB for Apache Cassandra-fiókba.

Előfeltételek

• Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .

• Egy helyszíni Oracle-adatbázis, benne néhány adattal.

A Striim Marketplace-megoldás üzembe helyezése

1. Jelentkezzen be az Azure Portalra.

2. Válassza az Erőforrás létrehozása lehetőséget, és keressen rá a Striim kifejezésre az Azure Marketplace-en. Válassza az első lehetőséget és a Létrehozás lehetőséget.

   

3. Ezután adja meg a Striim-példány konfigurációs tulajdonságait. A Striim-környezet egy virtuális gépen van üzembe helyezve. Az Alapszintű beállítások panelen adja meg a virtuális gép felhasználónevét, a virtuális gép jelszavát (ezt a jelszót használja az SSH a virtuális gépbe való SSH-hoz). Válassza ki az előfizetés, az erőforráscsoport és a hely adatait , ahol telepíteni szeretné a Striim-et. Ha elkészült, válassza az OK gombot.

   

4. A Striim-fürt beállításai panelen válassza ki a Striim üzembe helyezésének típusát és a virtuális gép méretét.

   Beállítás	Érték	Leírás
   Striim üzembehelyezési típus	Különálló	A Striim önálló vagy fürttelepítési típusokban is futtatható. Az önálló mód a Striim-kiszolgálót egyetlen virtuális gépen helyezi üzembe, és az adatmennyiségtől függően kiválaszthatja a virtuális gépek méretét. A fürt mód a Striim-kiszolgálót két vagy több, a kiválasztott méretű virtuális gépen helyezi üzembe. A több mint 2 csomóponttal rendelkező fürtkörnyezetek automatikusan magas rendelkezésre állást és feladatátvételt biztosítanak. Ebben az oktatóanyagban kiválaszthatja az Önálló lehetőséget. Használja az alapértelmezett "Standard_F4s" méretű virtuális gépet.
   A Striim-fürt neve	<Striim_cluster_Name>	A Striim-fürt neve.
   Striim-fürt jelszava	<Striim_cluster_password>	A fürt jelszava.

   Az űrlap kitöltése után kattintson az OK gombra a folytatáshoz.

5. A Striim hozzáférési beállításai panelen konfigurálja a Nyilvános IP-címet (válassza ki az alapértelmezett értékeket), a Striim tartománynevét, Rendszergazda jelszót, amelyet a Striim felhasználói felületére való bejelentkezéshez szeretne használni. Virtuális hálózat és alhálózat konfigurálása (válassza ki az alapértelmezett értékeket). A részletek kitöltése után kattintson az OK gombra a folytatáshoz.

   

6. Az Azure ellenőrzi az üzembe helyezést, és meggyőződik arról, hogy minden rendben van; az ellenőrzés végrehajtása néhány percet vesz igénybe. Az ellenőrzés befejezése után válassza az OK gombot.

7. Végül tekintse át a használati feltételeket, és válassza a Létrehozás lehetőséget a Striim-példány létrehozásához.

A forrásadatbázis konfigurálása

Ebben a szakaszban az Oracle-adatbázist konfigurálja az adatáthelyezési forrásként. A Striim-kiszolgálóhoz tartozik az Oracle JDBC-illesztő, amely az Oracle-hez való csatlakozáshoz használható. A forrás Oracle-adatbázis módosításainak olvasásához használhatja a LogMinert vagy az XStream API-kat. Az Oracle JDBC-illesztő megtalálható a Striim Java-osztályútvonalán az Oracle-adatbázisból származó adatok olvasásához, írásához vagy megőrzéséhez.

Céladatbázis konfigurálása

Ebben a szakaszban az Azure Cosmos DB for Apache Cassandra-fiókot fogja konfigurálni az adatáthelyezési célként.

1. Hozzon létre egy Azure Cosmos DB-t Apache Cassandra-fiókhoz a Azure Portal használatával.

2. Lépjen az Azure Cosmos DB-fiók Data Explorer paneljére. Új tároló létrehozásához válassza az Új tábla lehetőséget. Tegyük fel, hogy termékeket migrál, és adatokat rendel az Oracle-adatbázisból az Azure Cosmos DB-be. Hozzon létre egy StriimDemo nevű új kulcsteret egy Orders tárolóval. A tároló kiépítése 1000 kérelemegységgel (ez a példa 1000 kérelemegységet használ, de a számítási feladathoz becsült átviteli sebességet kell használnia), és elsődleges kulcsként a /ORDER_ID . Ezek az értékek a forrásadatoktól függően eltérőek lesznek.

   

Oracle konfigurálása az Azure Cosmos DB-hez adatfolyamként

1. Lépjen a Azure Portal üzembe helyezett Striim-példányra. Válassza a Csatlakozás gombot a felső menüsávon, majd az SSH lapon másolja az URL-címet a Bejelentkezés a virtuális gép helyi fiókjával mezőbe.

   

2. Nyisson meg egy új terminálablakot, és futtassa a Azure Portal kimásolt SSH-parancsot. Ez a cikk terminált használ egy macOS-ben, és hasonló utasításokat követhet egy SSH-ügyféllel Egy Windows-gépen. Amikor a rendszer kéri, írja be az igen értéket a folytatáshoz, és adja meg a virtuális géphez az előző lépésben beállított jelszót .

   

3. Ugyanabból a terminálablakból indítsa újra a Striim-kiszolgálót a következő parancsok végrehajtásával:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. A Striim indítása egy percet vesz igénybe. Ha látni szeretné az állapotot, futtassa a következő parancsot:

   tail -f /opt/striim/logs/striim-node.log
   

5. Most lépjen vissza az Azure-ba, és másolja ki a Striim virtuális gép nyilvános IP-címét.

   

6. A Striim webes felhasználói felületére való navigáláshoz nyisson meg egy új lapot egy böngészőben, és másolja a nyilvános IP-címet, majd a következőt: 9080. Jelentkezzen be a rendszergazdai felhasználónévvel, valamint a Azure Portal megadott rendszergazdai jelszóval.

   

7. Most megérkezik Striim kezdőlapjára. Három különböző panel található : Irányítópultok, Alkalmazások és SourcePreview. Az Irányítópultok panelen valós időben helyezhet át adatokat, és megjelenítheti azokat. Az Alkalmazások panel a streamelt adatfolyamokat vagy adatfolyamokat tartalmazza. A lap jobb oldalán található a SourcePreview, ahol az áthelyezés előtt megtekintheti az adatokat.

8. Válassza az Alkalmazások panelt, és egyelőre erre a panelre összpontosítunk. Számos mintaalkalmazást használhat a Striim megismeréséhez, de ebben a cikkben saját alkalmazásokat fog létrehozni. Válassza az Alkalmazás hozzáadása gombot a jobb felső sarokban.

   

9. A Striim-alkalmazások létrehozásának néhány különböző módja van. Ehhez a forgatókönyvhöz válassza a Kezdés az alapoktól lehetőséget.

   

10. Adjon egy rövid nevet az alkalmazásnak, például oraToCosmosDB , és válassza a Mentés lehetőséget.

    

11. Ekkor megérkezik a Flow Tervező, ahol húzással és húzással létrehozhatja a streamelési alkalmazásokat. Írja be az Oracle kifejezést a keresősávba, és húzza az Oracle CDC-forrást az alkalmazásvászonra.

    

12. Adja meg az Oracle-példány forráskonfigurációs tulajdonságait. A forrásnév csak egy elnevezési konvenció a Striim-alkalmazáshoz, használhat például src_onPremOracle nevet. Adjon meg egyéb adatokat is, például adaptertípust, kapcsolati URL-címet, felhasználónevet, jelszót, táblanevet. A folytatáshoz válassza a Mentés lehetőséget.

    

13. Most kattintson a stream hullámikonjára a cél Azure Cosmos DB-példány csatlakoztatásához.

    

14. A cél konfigurálása előtt győződjön meg arról, hogy hozzáadott egy Baltimore főtanúsítványt a Striim Java-környezetéhez.

15. Adja meg a cél Azure Cosmos DB-példány konfigurációs tulajdonságait, majd a folytatáshoz válassza a Mentés lehetőséget. Íme a legfontosabb paraméterek, amelyeket fel kell jegyezni:

    • Adapter – Használja a DatabaseWriter elemet. Amikor az Apache Cassandra-hoz készült Azure Cosmos DB-be ír, a DatabaseWriterre van szükség. A Cassandra driver 3.6.0 a Striimhez van csomagolva. Ha a DatabaseWriter túllépi az Azure Cosmos DB-tárolón kiosztott kérelemegységek számát, az alkalmazás összeomlik.

    • Kapcsolat URL-címe – Adja meg az Azure Cosmos DB JDBC-kapcsolat URL-címét. Az URL formátuma jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Felhasználónév – Adja meg az Azure Cosmos DB-fiók nevét.

    • Jelszó – Adja meg az Azure Cosmos DB-fiók elsődleges kulcsát.

    • Táblák – A céltábláknak elsődleges kulcsokkal kell rendelkezniük, és az elsődleges kulcsok nem frissíthetők.

    

    

16. Most futtatjuk a Striim alkalmazást. A felső menüsávon válassza a Létrehozás, majd az Alkalmazás üzembe helyezése lehetőséget. Az üzembe helyezési ablakban megadhatja, hogy az alkalmazás bizonyos részeit az üzembehelyezési topológia egyes részein szeretné-e futtatni. Mivel egyszerű üzembehelyezési topológiában futunk az Azure-on keresztül, az alapértelmezett beállítást fogjuk használni.

    

17. Most pedig megtekintjük a stream előnézetét, hogy láthassa a Striimen áthaladó adatokat. Kattintson a hullám ikonra, és kattintson a mellette lévő szem ikonra. Az üzembe helyezés után megtekintheti az adatfolyam előnézetét, hogy láthassa az adatfolyamot. Válassza ki a hullám ikont és a mellette lévő szemgolyót . Válassza az Üzembe helyezés gombot a felső menüsávon, és válassza az Alkalmazás indítása lehetőséget.

    

18. A CDC(Change Data Capture) olvasó használatával a Striim csak az új módosításokat fogja átvenni az adatbázisban. Ha az adatok a forrástáblákon keresztül áramlanak, látni fogja. Mivel azonban ez egy mintatábla, a forrás, amely nem csatlakozik egyetlen alkalmazáshoz sem. Ha mintaadatgenerátort használ, eseményláncot szúrhat be az Oracle-adatbázisba.

19. Az adatok a Striim platformon keresztül áramlanak. A Striim a táblához társított összes metaadatot is felveszi, ami hasznos lehet az adatok monitorozásához és annak biztosításához, hogy az adatok a megfelelő célhoz érjenek.

    

20. Végül jelentkezzen be az Azure-ba, és lépjen az Azure Cosmos DB-fiókjához. Frissítse a Data Explorer, és láthatja, hogy az adatok megérkeztek.

A Striim megoldás azure-beli használatával folyamatosan migrálhatja az adatokat az Azure Cosmos DB-be különböző forrásokból, például oracle, Cassandra, MongoDB és más forrásokból az Azure Cosmos DB-be. További információért látogasson el a Striim webhelyére, töltse le a Striim ingyenes 30 napos próbaverzióját, és a Striim migrálási útvonalának beállításával kapcsolatos problémák esetén küldjön támogatási kérést.

Következő lépések

• Ha adatokat migrál a NoSQL-hez készült Azure Cosmso DB-be, tekintse meg, hogyan migrálhat adatokat a Cassandra-fiók API-ba a Striim használatával

• Adatok monitorozása és hibakeresése Azure Cosmos DB-metrikákkal