Nástroje pro migraci datového skladu Oracle do Azure Synapse Analytics

Tento článek je šestou částí sedmidílné série, která poskytuje pokyny k migraci z Oracle na Azure Synapse Analytics. Tento článek se zaměřuje na osvědčené postupy pro nástroje microsoftu a jiných výrobců.

Nástroje pro migraci datového skladu

Migrací stávajícího datového skladu do Azure Synapse získáte výhody:

• Globálně zabezpečená, škálovatelná, nízkonákladová analytická databáze nativní pro cloud s průběžným platbou

• Bohatý analytický ekosystém Microsoftu, který existuje v Azure. Tento ekosystém se skládá z technologií, které po migraci pomáhají modernizovat datový sklad a rozšířit analytické možnosti, aby získaly novou hodnotu.

S migrací stávajícího datového skladu do Azure Synapse vám může pomoct několik nástrojů od microsoftu i jiných partnerů. Tento článek popisuje následující typy nástrojů:

• Nástroje microsoftu pro migraci dat a databází.

• Nástroje pro automatizaci datového skladu třetích stran pro automatizaci a dokumentaci migrace do Azure Synapse

• Nástroje pro migraci datového skladu třetích stran pro migraci schématu a dat do Azure Synapse.

• Nástroje třetích stran, které přemáčí rozdíly SQL mezi existujícím systémem DBMS datového skladu a Azure Synapse.

Nástroje microsoftu pro migraci dat

Microsoft nabízí několik nástrojů, které vám pomůžou s migrací stávajícího datového skladu do Azure Synapse, například:

• Pomocník s migrací SQL Serveru (SSMA)

• Azure Data Factory.

• Služby Microsoftu pro fyzický přenos dat.

• Služby Microsoftu pro příjem dat.

Další části popisují tyto nástroje podrobněji.

Pomocník s migrací SQL Serveru (SSMA)

Pomocník s migrací SQL Serveru (SSMA) pro Oracle dokáže automatizovat řadu částí procesu migrace, včetně funkcí a procedurálního kódu. SSMA podporuje Azure Synapse jako cílové prostředí.

SSMA pro Oracle vám může pomoct s migrací datového skladu Nebo datového tržiště Oracle do Azure Synapse. SSMA je navržený tak, aby automatizoval proces migrace tabulek, zobrazení a dat z existujícího prostředí Oracle.

Microsoft Azure Data Factory

Data Factory je plně spravovaná služba hybridní integrace dat s průběžným platbou pro vysoce škálovatelné zpracování ETL a ELT. Používá Apache Spark ke zpracování a analýze dat paralelně a v paměti, aby se maximalizovala propustnost.

Tip

Data Factory umožňuje vytvářet škálovatelné kanály integrace dat bez kódu.

Konektory služby Data Factory podporují připojení k externím zdrojům dat a databázím a zahrnují šablony pro běžné úlohy integrace dat. Vizuální front-endové uživatelské rozhraní založené na prohlížeči umožňuje neprogramátorům vytvářet a spouštět kanály pro příjem, transformaci a načítání dat. Zkušenější programátoři můžou začlenit vlastní kód, například programy v Pythonu.

Tip

Data Factory umožňuje spolupráci mezi obchodními a IT specialisty.

Data Factory je také nástroj pro orchestraci a je nejlepším nástrojem Microsoftu pro automatizaci kompletního procesu migrace. Automatizace snižuje riziko, úsilí a čas migrace a usnadňuje opakování procesu migrace. Následující diagram znázorňuje tok dat mapování ve službě Data Factory.

Další snímek obrazovky ukazuje přetáčící se tok dat ve službě Data Factory.

Ve službě Data Factory můžete pomocí několika kliknutí vyvinout jednoduché nebo komplexní procesy ETL a ELT bez kódování nebo údržby. Procesy ETL/ELT ingestují, přesunují, připravují, transformují a zpracovávají vaše data. Ve službě Data Factory můžete navrhnout a spravovat plánování a triggery, abyste vytvořili prostředí automatizované integrace a načítání dat. Ve službě Data Factory můžete definovat, spravovat a plánovat procesy hromadného načítání dat PolyBase.

Tip

Data Factory obsahuje nástroje, které vám pomůžou migrovat data i celý datový sklad do Azure.

Službu Data Factory můžete použít k implementaci a správě hybridního prostředí s místními, cloudovými, streamovanými a saaS daty zabezpečeným a konzistentním způsobem. Data SaaS můžou pocházet z aplikací, jako je Salesforce.

Uspořádání toků dat je novou funkcí služby Data Factory. Tato funkce otevře Data Factory firemním uživatelům, kteří chtějí vizuálně objevovat, zkoumat a připravovat data ve velkém měřítku bez psaní kódu. Uspořádání toků dat nabízí samoobslužnou přípravu dat, podobně jako microsoft Excel, Power Query a toky dat Microsoft Power BI. Firemní uživatelé můžou připravit a integrovat data prostřednictvím uživatelského rozhraní ve stylu tabulky s možnostmi rozevírací transformace.

Funkce migrace dat ve velkém pomáhá s migrací dat ze zdroje do Azure SQL cíle pomocí služby Data Factory.

Data Factory je doporučený přístup k implementaci integrace dat a procesů ETL/ELT v prostředí Azure Synapse, zejména pokud chcete refaktorovat stávající starší procesy.

Služby Microsoftu pro fyzický přenos dat

Následující části popisují celou řadu produktů a služeb, které Microsoft nabízí, aby zákazníkům pomohly s přenosem dat. Tento offline přesun dat umožní koncovým uživatelům výrazně snížit výpadky migrace.

Azure ExpressRoute

Azure ExpressRoute vytváří privátní připojení mezi datovými centry Azure a infrastrukturou v místním prostředí nebo v prostředí kolokace. Připojení ExpressRoute neprocházejí přes veřejný internet a nabízejí větší spolehlivost, vyšší rychlost a nižší latenci než běžná připojení k internetu. V některých případech získáte značné úspory nákladů tím, že k přenosu dat mezi místními systémy a Azure použijete připojení ExpressRoute.

AzCopy

AzCopy je nástroj příkazového řádku, který kopíruje soubory do Azure Blob Storage přes standardní připojení k internetu. V projektu migrace skladu můžete pomocí Nástroje AzCopy nahrát extrahované, komprimované a oddělené textové soubory před jejich načtením do Azure Synapse pomocí PolyBase. AzCopy může nahrávat jednotlivé soubory, výběry souborů nebo složky souborů. Pokud jsou exportované soubory ve formátu Parquet, použijte místo toho nativní čtečku Parquet.

Azure Data Box

Azure Data Box je služba Microsoftu, která poskytuje proprietární fyzické paměťové zařízení, do kterého můžete kopírovat data migrace. Pak zařízení odešlete do datacentra Azure pro nahrání dat do cloudového úložiště. Tato služba může být nákladově efektivní pro velké objemy dat, jako jsou desítky nebo stovky terabajtů, nebo tam, kde není snadno dostupná šířka pásma sítě. Azure Data Box se obvykle používá pro velké jednorázové načítání historických dat do Azure Synapse.

Azure Data Box Gateway

Azure Data Box Gateway je virtualizované zařízení brány cloudového úložiště, které se nachází ve vašem místním prostředí a odesílá obrázky, média a další data do Azure. Data Box Gateway můžete použít pro jednorázové úlohy migrace nebo průběžné přírůstkové nahrávání dat.

Služby Microsoftu pro příjem dat

Následující části popisují produkty a služby, které Microsoft nabízí, aby zákazníkům pomohly s příjmem dat.

COPY INTO

Příkaz COPY INTO poskytuje největší flexibilitu pro příjem dat s vysokou propustností do Azure Synapse. Další informace o COPY INTO funkcích najdete v tématu COPY (Transact-SQL).

PolyBase

PolyBase je nejrychlejší a škálovatelná metoda pro hromadné načítání dat do Azure Synapse. PolyBase používá architekturu MPP (Massively Parallel Processing) Azure Synapse k paralelnímu načítání dat, aby bylo dosaženo nejrychlejší propustnosti. PolyBase může číst data z plochých souborů v Azure Blob Storage nebo přímo z externích zdrojů dat a jiných relačních databází prostřednictvím konektorů.

Tip

PolyBase může načítat data paralelně z Azure Blob Storage do Azure Synapse.

PolyBase může také přímo číst ze souborů komprimovaných pomocí gzip, aby se snížil fyzický objem dat během procesu načítání. PolyBase podporuje oblíbené formáty dat, jako je text s oddělovači, ORC a Parquet.

Tip

PolyBase můžete vyvolat ze služby Data Factory jako součást kanálu migrace.

PolyBase je úzce integrovaný se službou Data Factory, aby podporoval rychlý vývoj procesů ETL/ELT pro načítání dat. Procesy načítání dat můžete naplánovat prostřednictvím vizuálního uživatelského rozhraní, abyste měli vyšší produktivitu a méně chyb než ručně napsaný kód. Microsoft doporučuje PolyBase pro příjem dat do Azure Synapse, zejména pro příjem dat ve velkých objemech.

PolyBase používá CREATE TABLE AS k načtení dat příkazy nebo INSERT...SELECT . CREATE TABLE AS minimalizuje protokolování, aby se dosáhlo nejvyšší propustnosti. Nejúčinnějším vstupním formátem pro načítání dat jsou komprimované textové soubory s oddělovači. Pro dosažení maximální propustnosti rozdělte velké vstupní soubory na několik menších souborů a načítejte je paralelně. Pro nejrychlejší načtení do pracovní tabulky definujte cílovou tabulku jako HEAP typ a použijte distribuci kruhového dotazování.

PolyBase má určitá omezení, protože vyžaduje, aby délka řádku dat byla menší než 1 megabajt, a nepodporuje vnořené formáty s pevnou šířkou, jako jsou JSON a XML.

Nástroje Microsoftu pro migrace Oracle

Pomocník s migrací SQL Serveru (SSMA) pro Oracle vám může pomoct s migrací starší místní platformy datového skladu do Azure Synapse.

Partneři Microsoftu pro migrace Oracle

Partneři Microsoftu nabízejí nástroje, služby a odborné znalosti, které vám pomůžou migrovat starší místní platformu datového skladu na Azure Synapse.

Další kroky

Další informace o implementaci moderních datových skladů najdete v dalším článku v této sérii: Kromě migrace Oracle implementujte moderní datový sklad v Microsoft Azure.