Migrace dat do účtu rozhraní SQL API služby Azure Cosmos DB pomocí Striimu

PLATÍ PRO: SQL API

Image Striim v Azure Marketplace nabízí nepřetržitý přesun dat z datových skladů a databází do Azure v reálném čase. Při přesouvání dat můžete provádět řádovou denormalizaci, transformaci dat, umožnit analýzy v reálném čase a scénáře generování sestav dat. Se Striimem můžete snadno začít nepřetržitě přesouvat podniková data do rozhraní API služby Azure Cosmos DB SQL. Azure nabízí nabídku na marketplace, která usnadňuje nasazení Striimu a migraci dat do Azure Cosmos DB.

Tento článek ukazuje, jak pomocí Striimu migrovat data z databáze Oracle do účtu rozhraní API služby Azure Cosmos DB SQL API.

Požadavky

• Pokud ještě nemáte předplatné Azure,vytvořte si bezplatný účet před tím, než začnete.

• Databáze Oracle spuštěná místně s některými daty.

Nasazení řešení Striim Marketplace

1. Přihlaste se k webu Azure Portal.

2. Vyberte Vytvořit prostředek a na webu Azure Marketplace vyhledejte Striim. Vyberte první možnost a vytvořit.

   

3. Dále zadejte vlastnosti konfigurace instance Striim. Prostředí Striim je nasazené ve virtuálním počítači. V podokně Základy zadejte uživatelské jméno virtuálního počítače a heslo virtuálního počítače (toto heslo se používá pro SSH k virtuálnímu počítače). Vyberte podrobnosti o předplatném, skupině prostředků a umístění, kam chcete striim nasadit. Po dokončení vyberte OK.

   

4. V podokně Nastavení clusteru Striim zvolte typ nasazení Striim a velikost virtuálního počítače.

   Nastavení	Hodnota	Popis
   Typ nasazení Striim	Standalone	Striim může běžet v samostatných nebo clusterových typech nasazení. Samostatný režim nasadí server Striim na jeden virtuální počítač a můžete vybrat velikost virtuálních počítačů v závislosti na objemu dat. Režim clusteru nasadí server Striim na dva nebo více virtuálních počítače s vybranou velikostí. Clusterová prostředí s více než 2 uzly nabízejí automatickou vysokou dostupnost a převzetí služeb při selhání. V tomto kurzu můžete vybrat možnost Standalone (Samostatná). Použijte výchozí velikost virtuálního Standard_F4s virtuálního počítače.
   Název clusteru Striim	<Striim_cluster_Name>	Název clusteru Striim.
   Heslo clusteru Striim	<Striim_cluster_password>	Heslo pro cluster.

   Po vyplnění formuláře pokračujte výběrem OK.

5. V podokně Nastavení přístupu Striim nakonfigurujte veřejnou IP adresu (zvolte výchozí hodnoty), Název domény pro Striim, Heslo správce, které chcete použít pro přihlášení k uživatelskému rozhraní Striim. Nakonfigurujte virtuální síť a podsíť (zvolte výchozí hodnoty). Po vyplnění podrobností pokračujte výběrem OK.

   

6. Azure ověří nasazení a ověří, že všechno vypadá dobře. Ověření trvá několik minut. Po dokončení ověření vyberte OK.

7. Nakonec si prohlédněte podmínky použití a výběrem možnosti Vytvořit vytvořte instanci Striim.

Konfigurace zdrojové databáze

V této části nakonfigurujete databázi Oracle jako zdroj pro přesun dat. Pro připojení k Oraclu budete potřebovat ovladač Oracle JDBC. Ke čtení změn ze zdrojové databáze Oracle můžete použít buď LogMiner, nebo rozhraní API XStream. Ovladač Oracle JDBC musí být v jazyce Striim v jazyce Java classpath, aby bylo možné číst, zapisovat nebo zachovávat data z databáze Oracle.

Stáhněte si ovladač ojdbc8.jar do místního počítače. Později ho nainstalujete do clusteru Striim.

Konfigurace cílové databáze

V této části nakonfigurujete účet azure Cosmos DB SQL API jako cíl pro přesun dat.

1. Vytvořte účet rozhraní API Cosmos AZURE SQL DB pomocí Azure Portal.

2. Ve svém účtu azure Průzkumník dat přejděte do podokna Cosmos úložiště. Vyberte Nový kontejner a vytvořte nový kontejner. Předpokládejme, že migrujete produkty a objednáváte data z databáze Oracle do Azure Cosmos DB. Vytvořte novou databázi s názvem StriimDemo s kontejnerem s názvem Orders. Získejte v kontejneru 1 000 REZERVOVANÝCH Ů (v tomto příkladu se používá 1 000 REZERVOVANÝch Ů, ale měli byste použít odhadovanou propustnost pro vaši úlohu) a /ORDER_ID jako klíč oddílu. Tyto hodnoty se budou lišit v závislosti na zdrojových datech.

   

Konfigurace Oracle pro tok dat Azure Cosmos DB

1. Teď se vraťme k Striimu. Než začnete pracovat se Striimem, nainstalujte ovladač Oracle JDBC, který jste stáhli dříve.

2. Přejděte k instanci Striim, kterou jste nasadili v Azure Portal. Vyberte tlačítko Připojení v horním řádku nabídek a na kartě SSH zkopírujte adresu URL do pole Přihlášení pomocí místního účtu virtuálního počítače.

   

3. Otevřete nové okno terminálu a spusťte příkaz SSH, který jste zkopíroval z Azure Portal. V tomto článku se používá terminál v macOS. Podobné pokyny můžete postupovat podle puTTY nebo jiného klienta SSH na Windows počítači. Po zobrazení výzvy pokračujte zadáním yes a zadejte heslo, které jste pro virtuální počítač nastavili v předchozím kroku.

   

4. Teď otevřete novou kartu terminálu a zkopírujte soubor ojdbc8.jar, který jste stáhli dříve. Pomocí následujícího příkazu SCP zkopírujte soubor jar z místního počítače do složky tmp instance Striim spuštěné v Azure:

   cd <Directory_path_where_the_Jar_file_exists> 
   scp ojdbc8.jar striimdemo@striimdemo.westus.cloudapp.azure.com:/tmp
   

   

5. Pak se vraťte do okna, ve kterém jste přešli na SSH, k instanci Striim a přihlaste se jako sudo. Pomocí následujících příkazů přesuňte soubor ojdbc8.jar z adresáře /tmp do adresáře lib vaší instance Striim:

   sudo su
   cd /tmp
   mv ojdbc8.jar /opt/striim/lib
   chmod +x ojdbc8.jar
   

   

6. Ve stejném okně terminálu restartujte server Striim spuštěním následujících příkazů:

   Systemctl stop striim-node
   Systemctl stop striim-dbms
   Systemctl start striim-dbms
   Systemctl start striim-node
   

7. Spuštění Striimu bude chvíli trvat. Pokud chcete zobrazit stav, spusťte následující příkaz:

   tail -f /opt/striim/logs/striim-node.log
   

8. Teď se vraťte do Azure a zkopírujte veřejnou IP adresu virtuálního počítače Striim.

   

9. Pokud chcete přejít do webového uživatelského rozhraní Striimu, otevřete v prohlížeči novou kartu a zkopírujte veřejnou IP adresu následovanou 9080. Přihlaste se pomocí uživatelského jména správce a hesla správce, které jste zadali v Azure Portal.

   

10. Teď dorazíte na domovskou stránku Striimu. Existují tři různá podokna – Řídicí panely, Aplikace a SourcePreview. Podokno Řídicí panely umožňuje přesouvat data v reálném čase a vizualizovat je. Podokno Aplikace obsahuje vaše streamované datové kanály nebo toky dat. Na pravé straně stránky je SourcePreview, kde můžete zobrazit náhled dat před jejich přesunutím.

11. Vyberte podokno Aplikace. My se teď zaměříme na toto podokno. K dispozici je celá řada ukázkových aplikací, pomocí které se můžete se Striimem se dozvědět, ale v tomto článku si vytvoříte vlastní. V pravém horním rohu vyberte tlačítko Přidat aplikaci.

    

12. Existuje několik různých způsobů, jak vytvářet aplikace Striim. Pokud chcete začít s existující šablonou, vyberte Začít šablonou.

    

13. Do pole Hledat šablony zadejte "Cosmos", vyberte Cíl: Azure Cosmos DB a pak vyberte Oracle CDC na Azure Cosmos DB.

    

14. Na další stránce pojmnte aplikaci. Můžete zadat název, například oraToCosmosDB, a pak vybrat Uložit.

15. Dále zadejte konfiguraci zdroje zdrojové instance Oracle. Zadejte hodnotu do pole Source Name (Název zdroje). Název zdroje je jenom konvence pro vytváření názvů pro aplikaci Striim. Můžete použít něco jako src_onPremOracle. Zadejte hodnoty pro zbývající parametry zdroje URL, Uživatelské jméno , Heslo a jako čtenář pro čtení dat z Oraclu zvolte LogMiner. Pokračujte výběrem tlačítka Další.

    

16. Striim zkontroluje vaše prostředí a zkontroluje, že se může připojit ke zdrojové instanci Oracle, mít správná oprávnění a že je CDC správně nakonfigurované. Po ověření všech hodnot vyberte Další.

    

17. Vyberte tabulky z databáze Oracle, které chcete migrovat. Vyberte například tabulku Orders (Objednávky) a vyberte Next (Další).

    

18. Po výběru zdrojové tabulky můžete provádět složitější operace, jako je mapování a filtrování. V tomto případě jednoduše vytvoříte repliku zdrojové tabulky v Azure Cosmos DB. Vyberte Další a nakonfigurujte cíl.

19. Teď nakonfigurujeme cíl:

    • Název cíle – Zadejte popisný název cíle.
    • Vstup z – V rozevíracím seznamu vyberte vstupní datový proud z datového proudu, který jste vytvořili ve zdrojové konfiguraci Oracle.
    • Kolekce– Zadejte cílové vlastnosti konfigurace Azure Cosmos DB. Syntaxe kolekcí je SourceSchema.SourceTable, TargetDatabase.TargetContainer. V tomto příkladu by hodnota byla SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey – Primární klíč vašeho účtu Azure Cosmos Azure.
    • ServiceEndpoint – identifikátor URI vašeho účtu Azure Cosmos, který najdete v části Klíče v Azure Portal.

    Vyberte Uložit a Další.

    

20. V dalším kroku dorazíte do návrháře toků, kde můžete přetáhnout konektory a vytvořit aplikace streamování. V tuto chvíli tok neupravíte. Pokračujte a nasaďte aplikaci výběrem tlačítka Deploy App (Nasadit aplikaci).

    

21. V okně nasazení můžete určit, jestli chcete určité části aplikace spouštět na konkrétních částech topologie nasazení. Vzhledem k tomu, že používáme jednoduchou topologii nasazení prostřednictvím Azure, použijeme výchozí možnost.

    

22. Po nasazení můžete zobrazit náhled streamu a zobrazit tak tok dat. Vyberte ikonu vlny a ikonu oka vedle ní. V horním řádku nabídek vyberte tlačítko Nasazeno a vyberte Spustit aplikaci.

    

23. Pomocí čtečky CDC(Change Data Capture) striim vyzvedne pouze nové změny v databázi. Pokud máte data protékající zdrojovými tabulkami, uvidíte je. Vzhledem k tomu, že se jedná o ukázkovou tabulku, zdroj není připojený k žádné aplikaci. Pokud použijete generátor ukázkových dat, můžete do databáze Oracle vložit řetězec událostí.

24. Uvidíte, jak data proudí přes platformu Striim. Striim také vezme všechna metadata přidružená k vaší tabulce, což je užitečné k monitorování dat a k tomu, aby se data přikládaly ke správnému cíli.

    

25. Nakonec se přihlásíme k Azure a přejdeme k účtu Azure Cosmos. Aktualizujte Průzkumník dat a uvidíte, že data dorazila.

    

Pomocí řešení Striim v Azure můžete průběžně migrovat data do Azure Cosmos DB z různých zdrojů, jako jsou Oracle, Cassandra, MongoDB a další, do Azure Cosmos DB. Další informace najdete na webu Striim,stáhněte si bezplatnou 30dennízkušební verzi striimu a v případě jakýchkoli problémů s nastavením cesty migrace pomocí Striimu zadejte žádost o podporu.

Další kroky

• Pokoušíte se provést plánování kapacity pro migraci do Azure Cosmos DB?

  • Pokud už víte jen počet virtuálních jadr a serverů ve stávajícím databázovém clusteru, přečtěte si o odhadování jednotek žádostí pomocí virtuálních jadr nebo virtuálních procesorů.
  • Pokud znáte typickou míru požadavků pro aktuální databázové úlohy, přečtěte si o odhadování jednotek žádostí pomocí Plánovače kapacity služby Azure Cosmos DB.

• Pokud migrujete data do rozhraní SQL API služby Azure Cosmos DB, podívejte se, jak migrovat data do rozhraní API Cassandra účtu pomocí Striimu.

• Monitorování a ladění dat s využitím metrik Azure Cosmos DB