Migrace dat do účtu Azure Cosmos DB for NoSQL pomocí Striimu

PLATÍ PRO: NoSQL

Image Striim na Azure Marketplace nabízí průběžný přesun dat z datových skladů a databází do Azure v reálném čase. Při přesouvání dat můžete provádět rovnoběžnou denormalizaci, transformaci dat, povolit analýzy v reálném čase a scénáře generování sestav dat. Začít se striimem je snadné a průběžně přesouvat podniková data do Azure Cosmos DB for NoSQL. Azure nabízí marketplace, která usnadňuje nasazení nástroje Striim a migraci dat do služby Azure Cosmos DB.

Tento článek ukazuje, jak pomocí nástroje Striim migrovat data z databáze Oracle do účtu Azure Cosmos DB for NoSQL.

Požadavky

• Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet , než začnete.

• Databáze Oracle spuštěná místně, ve které jsou nějaká data.

Nasazení řešení Striim marketplace

1. Přihlaste se k webu Azure Portal.

2. Vyberte Vytvořit prostředek a vyhledejte Striim na Azure Marketplace. Vyberte první možnost a vyberte Vytvořit.

   

3. Dále zadejte vlastnosti konfigurace instance Striim. Prostředí Striim je nasazené ve virtuálním počítači. V podokně Základy zadejte uživatelské jméno virtuálního počítače a heslo virtuálního počítače (toto heslo se používá k připojení k virtuálnímu počítači SSH). Vyberte podrobnosti o předplatném, skupině prostředků a umístění , kam chcete Nástroj Striim nasadit. Po dokončení vyberte OK.

   

4. V podokně Nastavení clusteru Striim zvolte typ nasazení Striim a velikost virtuálního počítače.

   Nastavení	Hodnota	Popis
   Typ nasazení Striim	Standalone	Nástroj Striim může běžet v samostatném nasazení nebo v clusteru . Samostatný režim nasadí server Striim na jeden virtuální počítač a můžete vybrat velikost virtuálních počítačů v závislosti na datovém svazku. Režim clusteru nasadí server Striim na dva nebo více virtuálních počítačů s vybranou velikostí. Prostředí clusteru s více než 2 uzly nabízejí automatickou vysokou dostupnost a převzetí služeb při selhání. V tomto kurzu můžete vybrat možnost Samostatná. Použijte výchozí velikost virtuálního počítače "Standard_F4s".
   Název clusteru Striim	<Striim_cluster_Name>	Název clusteru Striim.
   Heslo clusteru Striim	<Striim_cluster_password>	Heslo pro cluster.

   Po vyplnění formuláře pokračujte kliknutím na OK .

5. V podokně Nastavení přístupu ke striimu nakonfigurujte veřejnou IP adresu (zvolte výchozí hodnoty), název domény pro StriimSpráva heslo, které chcete použít pro přihlášení k uživatelskému rozhraní Striim. Nakonfigurujte virtuální síť a podsíť (zvolte výchozí hodnoty). Po vyplnění podrobností pokračujte výběrem OK .

   

6. Azure ověří nasazení a ověří, že všechno vypadá v pořádku. Ověření trvá několik minut. Po dokončení ověření vyberte OK.

7. Nakonec si projděte podmínky použití a vyberte Vytvořit a vytvořte instanci Striim.

Konfigurace zdrojové databáze

V této části nakonfigurujete databázi Oracle jako zdroj pro přesun dat. Server Striim se dodává s ovladačem Oracle JDBC, který se používá pro připojení k Oracle. Ke čtení změn ze zdrojové databáze Oracle můžete použít rozhraní API LogMiner nebo XStream. Ovladač Oracle JDBC je k dispozici v cestě třídy Java společnosti Striim ke čtení, zápisu nebo uchovávání dat z databáze Oracle.

Konfigurace cílové databáze

V této části nakonfigurujete účet Azure Cosmos DB for NoSQL jako cíl pro přesun dat.

1. Pomocí Azure Portal vytvořte účet Azure Cosmos DB for NoSQL.

2. Ve svém účtu služby Azure Cosmos DB přejděte do podokna Data Explorer. Vyberte Nový kontejner a vytvořte nový kontejner. Předpokládejme, že migrujete data produktů a objednávek z databáze Oracle do služby Azure Cosmos DB. Vytvořte novou databázi s názvem StriimDemo s kontejnerem s názvem Orders. Zřiďte kontejner s 1000 RU (v tomto příkladu se používá 1 000 RU, ale měli byste použít odhadovanou propustnost pro vaši úlohu) a /ORDER_ID jako klíč oddílu. Tyto hodnoty se budou lišit v závislosti na vašich zdrojových datech.

   

Konfigurace toku dat z Oracle do Azure Cosmos DB

1. Přejděte k instanci Striim, kterou jste nasadili v Azure Portal. V horním řádku nabídek vyberte tlačítko Připojit a na kartě SSH zkopírujte adresu URL do pole Přihlášení pomocí místního účtu virtuálního počítače .

   

2. Otevřete nové okno terminálu a spusťte příkaz SSH, který jste zkopírovali z Azure Portal. Tento článek používá terminál v systému MacOS. Podobné pokyny můžete použít k použití klienta SSH na počítači s Windows. Po zobrazení výzvy pokračujte zadáním yes a zadejte heslo , které jste pro virtuální počítač nastavili v předchozím kroku.

   

3. Ze stejného okna terminálu restartujte server Striim spuštěním následujících příkazů:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim bude chvíli trvat, než začne. Pokud chcete zobrazit stav, spusťte následující příkaz:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teď přejděte zpět do Azure a zkopírujte veřejnou IP adresu virtuálního počítače Striim.

   

6. Pokud chcete přejít do webového uživatelského rozhraní Striim, otevřete v prohlížeči novou kartu a zkopírujte veřejnou IP adresu následovanou číslem 9080. Přihlaste se pomocí uživatelského jména správce spolu s heslem správce, které jste zadali v Azure Portal.

   

7. Teď se dostanete na Striimovu domovskou stránku. Existují tři různá podokna – Řídicí panely, Aplikace a SourcePreview. Podokno Řídicí panely umožňuje přesouvat data v reálném čase a vizualizovat je. Podokno Aplikace obsahuje vaše streamované datové kanály neboli toky dat. Na pravé straně stránky je SourcePreview, kde si můžete před přesunutím zobrazit náhled dat.

8. Vyberte podokno Aplikace . Prozatím se zaměříme na toto podokno. Existuje celá řada ukázkových aplikací, které můžete použít k seznámení se striim, ale v tomto článku si vytvoříte vlastní. V pravém horním rohu vyberte tlačítko Přidat aplikaci .

   

9. Existuje několik různých způsobů, jak vytvořit aplikace Striim. Vyberte Začít šablonou a začněte s existující šablonou.

   

10. Do pole Prohledat šablony zadejte Cosmos, vyberte Cíl: Azure Cosmos DB a pak vyberte Oracle CDC do Azure Cosmos DB.

    

11. Na další stránce pojmenujte aplikaci. Můžete zadat název , například oraToCosmosDB , a pak vybrat Uložit.

12. Dále zadejte konfiguraci zdroje vaší zdrojové instance Oracle. Zadejte hodnotu pro Název zdroje. Název zdroje je jen konvence vytváření názvů pro aplikaci Striim, můžete použít něco jako src_onPremOracle. Zadejte hodnoty pro zbytek zdrojových parametrů URL, Uživatelské jméno, Heslo a zvolte LogMiner jako čtenář pro čtení dat z Oracle. Pokračujte výběrem tlačítka Další.

    

13. Striim zkontroluje vaše prostředí a ověří, že se může připojit ke zdrojové instanci Oracle, mít správná oprávnění a že cdc je správně nakonfigurované. Po ověření všech hodnot vyberte Další.

    

14. Vyberte tabulky z databáze Oracle, které chcete migrovat. Zvolíme například tabulku Objednávky a vybereme Další.

    

15. Po výběru zdrojové tabulky můžete provádět složitější operace, jako je mapování a filtrování. V takovém případě vytvoříte repliku zdrojové tabulky ve službě Azure Cosmos DB. Proto vyberte Další a nakonfigurujte cíl.

16. Teď nakonfigurujeme cíl:

    • Název cíle – zadejte popisný název cíle.
    • Vstup z – V rozevíracím seznamu vyberte vstupní datový proud z datového proudu, který jste vytvořili ve zdrojové konfiguraci Oracle.
    • Kolekce – zadejte vlastnosti konfigurace cílové služby Azure Cosmos DB. Syntaxe kolekcí je SourceSchema.SourceTable, TargetDatabase.TargetContainer. V tomto příkladu by hodnota byla "SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey – primární klíč vašeho účtu služby Azure Cosmos DB.
    • ServiceEndpoint – identifikátor URI vašeho účtu služby Azure Cosmos DB, který najdete v části Klíče Azure Portal.

    Vyberte Uložit a Další.

    

17. Dále se dostanete k návrháři toků, kde můžete přetažením konektorů vytvořit streamovací aplikace. V tomto okamžiku nebudete v toku provádět žádné změny. takže pokračujte a nasaďte aplikaci výběrem tlačítka Deploy App (Nasadit aplikaci ).

    

18. V okně nasazení můžete určit, jestli chcete určité části aplikace spouštět na konkrétních částech topologie nasazení. Vzhledem k tomu, že používáme jednoduchou topologii nasazení prostřednictvím Azure, použijeme výchozí možnost.

    

19. Po nasazení můžete zobrazit náhled streamu, abyste viděli tok dat. Vyberte ikonu vlny a oko vedle ní. V horním řádku nabídek vyberte tlačítko Deployed (Nasazeno ) a vyberte Start App (Spustit aplikaci).

    

20. Pomocí čtečky CDC (Change Data Capture) striim přebere pouze nové změny v databázi. Pokud data procházejí zdrojovými tabulkami, uvidíte je. Vzhledem k tomu, že se jedná o ukázkovou tabulku, není zdroj připojený k žádné aplikaci. Pokud používáte ukázkový generátor dat, můžete do databáze Oracle vložit řetězec událostí.

21. Uvidíte, jak data procházejí platformou Striim. Striim také přebírá všechna metadata přidružená k tabulce, což je užitečné při monitorování dat a zajištění, že data přistane na správný cíl.

    

22. Nakonec se přihlásíme k Azure a přejdeme k vašemu účtu služby Azure Cosmos DB. Aktualizujte Data Explorer a uvidíte, že data přišla.

    

Pomocí řešení Striim v Azure můžete do Azure Cosmos DB průběžně migrovat data z různých zdrojů, jako jsou Oracle, Cassandra, MongoDB a různé další. Další informace najdete na webu Striim, stáhněte si bezplatnou 30denní zkušební verzi společnosti Striim a v případě jakýchkoli problémů při nastavování cesty migrace se striim vytvořte žádost o podporu.

Další kroky

• Pokoušíte se naplánovat kapacitu pro migraci do služby Azure Cosmos DB?

  • Pokud vše, co víte, je počet virtuálních jader a serverů ve vašem existujícím databázovém clusteru, přečtěte si o odhadování jednotek žádostí pomocí virtuálních jader nebo virtuálních procesorů.
  • Pokud znáte typické frekvence požadavků pro aktuální databázové úlohy, přečtěte si informace o odhadu jednotek žádostí pomocí plánovače kapacity služby Azure Cosmos DB.

• Pokud migrujete data do služby Azure Cosmos DB for NoSQL, přečtěte si, jak migrovat data do účtu ROZHRANÍ API pro Cassandra pomocí Striim.

• Monitorování a ladění dat s využitím metrik služby Azure Cosmos DB