Nápady na řešení
Tento článek je myšlenkou řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu k GitHubu.
Při migraci místní sálové nebo střední aplikace do Azure je přenos dat primárním aspektem. Několik scénářů modernizace vyžaduje rychlé replikace souborů do Azure nebo udržování synchronizace mezi místními soubory a soubory Azure.
Tento článek popisuje několik procesů pro přenos souborů do Azure, převod a transformaci dat souborů a ukládání dat místně a v Azure.
Architektura
Následující diagram znázorňuje některé možnosti replikace a synchronizace místních souborů do Azure:
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
Přenos souborů do Azure:
Nejjednodušší způsob, jak přenášet soubory místně nebo do Azure, je použití protokolu FTP (File Transfer Protocol). Server FTP můžete hostovat na virtuálním počítači Azure. Jednoduchý jazyk JCL (Ftp Job Control Language) odesílá soubory do Azure v binárním formátu, což je nezbytné k zachování sálového a středního rozsahu výpočetních a binárních datových typů. Přenášené soubory můžete ukládat na místní disky, úložiště souborů virtuálních počítačů Azure nebo Azure Blob Storage.
Místní soubory můžete také nahrát do služby Blob Storage pomocí nástrojů, jako je AzCopy.
Konektor FTP/SFTP služby Azure Data Factory se dá použít také k přenosu dat z sálového systému do služby Blob Storage. Tato metoda vyžaduje zprostředkující virtuální počítač, na kterém je nainstalovaný místní prostředí Integration Runtime (SHIR).
Můžete také najít nástroje třetích stran na Azure Marketplace pro přenos souborů z sálových počítačů do Azure.
Orchestrace, převod a transformace dat:
Azure nemůže číst soubory stránek s kódem IBM Extended Binary Coded Decimal Interchange Code (EBCDIC) na discích virtuálních počítačů Azure nebo ve službě Blob Storage. Aby byly tyto soubory kompatibilní s Azure, převede je hostitelský integrační server (HIS) z EBCDIC do amerického formátu Standard Code for Information Interchange (ASCII).
Copybooky definují datovou strukturu souborů COBOL, PL/I a souborů jazyka sestavení. HIS tyto soubory převede na ASCII na základě rozložení copybooku.
Před přenosem dat do úložišť dat Azure možná budete muset data transformovat nebo je použít k analýze. Data Factory může spravovat tyto aktivity extrakce a transformace (ETL) a extrakce a transformace načítání (ELT) a ukládat data přímo ve službě Azure Data Lake Storage.
V případě integrace velkých objemů dat může Azure Databricks a Azure Synapse Analytics provádět všechny aktivity transformace rychle a efektivně pomocí modulu Apache Spark k provádění výpočtů v paměti.
Ukládání dat:
Přenášená data můžete ukládat v jednom z několika dostupných trvalých režimů úložiště Azure v závislosti na vašich požadavcích.
Pokud není potřeba provádět analýzy, azure Data Factory může ukládat data přímo do široké škály možností úložiště, jako je Data Lake Storage a Blob Storage.
Azure hostuje různé databáze, které řeší různé potřeby:
- Relační databáze zahrnují řadu SQL Serveru a opensourcové databáze, jako jsou PostgreSQL a MySQL.
- Nerelační databáze zahrnují Azure Cosmos DB, rychlou a vícemodelovou globálně distribuovanou databázi NoSQL.
Kontrola analýz a business intelligence:
Microsoft Fabric je analytické řešení typu vše v jednom, které může vaše organizace použít ke studiu přesunu dat, experimentování s datovými vědami a kontrole analýz v reálném čase a business intelligence. Nabízí komplexní sadu funkcí, včetně datového jezera, přípravy dat a integrace dat.
Komponenty
Různé scénáře přenosu souborů, integrace a úložiště používají různé komponenty. Pokud chcete odhadnout náklady na prostředky Azure, podívejte se na cenovou kalkulačku Azure.
Sítě
Místní brána dat je software mostu, který připojuje místní data ke cloudovým službám. Bránu můžete nainstalovat na vyhrazený místní virtuální počítač.
Integrace a transformace dat
Zprostředkovatel dat pro soubory hostitele je komponenta HIS, která převádí soubory znakové stránky EBCDIC na ASCII. Zprostředkovatel může číst a zapisovat záznamy offline v místním binárním souboru nebo pomocí systémů Network Architecture (SNA) nebo TCP/IP (Transmission Control Protocol/Internet Protocol) ke čtení a zápisu záznamů ve vzdálených datových sadách sálových počítačů IBM z/OS nebo fyzických souborech i5/OS. Konektory HIS jsou k dispozici pro BizTalk a Azure Logic Apps.
Azure Data Factory je hybridní služba pro integraci dat, kterou můžete použít k vytváření, plánování a orchestraci pracovních postupů ETL a ELT.
Azure Databricks je analytická platforma založená na Apache Sparku optimalizovaná pro Azure. Databricks můžete použít ke korelaci příchozích dat a jejich obohacení o další data uložená v Databricks.
Azure Synapse Analytics je rychlý a flexibilní cloudový datový sklad s architekturou MPP (Massively Parallel Processing), kterou můžete použít ke škálování, výpočetním prostředkům a ukládání dat elasticky a nezávisle na sobě.
Databáze
Azure SQL Database je škálovatelná relační cloudová databázová služba. Azure SQL Database je stále aktuální a vždy aktuální díky funkcím využívajícím AI a automatizovaným funkcím, které optimalizují výkon a odolnost. Bezserverové výpočetní prostředky a možnosti úložiště hyperškálování automaticky škálujte prostředky na vyžádání. S Zvýhodněné hybridní využití Azure můžete bez dalších poplatků používat stávající místní licence SQL Serveru v cloudu.
Azure SQL Managed Instance kombinuje nejširší kompatibilitu databázového stroje SQL Serveru se všemi výhodami plně spravované a evergreen platformy jako služby (PaaS). Pomocí služby SQL Managed Instance můžete modernizovat stávající aplikace ve velkém měřítku se známými nástroji, dovednostmi a prostředky.
SQL Server na virtuálních počítačích Azure zvedne úlohy SQL Serveru do cloudu a zkombinuje flexibilitu a hybridní připojení Azure s výkonem, zabezpečením a analýzou SQL Serveru. Máte přístup k nejnovějším aktualizacím a vydaným verzím SQL Serveru s 100% kompatibilitou kódu.
Azure Database for PostgreSQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje PostgreSQL.
Azure Database for MySQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje MySQL.
Azure Cosmos DB je plně spravovaná databázová služba NoSQL s více modely pro vytváření a modernizaci škálovatelných vysoce výkonných aplikací. Azure Cosmos DB škáluje propustnost a úložiště elasticky a nezávisle na sobě napříč geografickými oblastmi a zaručuje latence s jednou číslicí v milisekundách při 99. dostupnosti percentilu kdekoli na světě.
Jiná úložiště dat
Blob Storage ukládá velké objemy nestrukturovaných dat, jako jsou textová nebo binární data, ke kterým máte přístup odkudkoli prostřednictvím protokolu HTTP nebo HTTPS. Službu Blob Storage můžete použít k veřejnému zveřejnění dat nebo k soukromému ukládání dat aplikací.
Data Lake Storage je úložiště, které obsahuje velké množství dat v nativním nezpracovaném formátu. Data Lake Storage poskytuje škálování pro úlohy analýzy velkých objemů dat s terabajty a petabajty dat. Data obvykle pocházejí z více heterogenních zdrojů a mohou být strukturovaná, částečně strukturovaná nebo nestrukturovaná.
Potenciální případy použití
Mezi případy použití místní replikace souborů a synchronizace patří:
Podřízené nebo nadřazené závislosti, například pokud aplikace, které běží na sálovém počítači, a aplikace, které běží v Azure, potřebují vyměňovat data prostřednictvím souborů.
Paralelní testování znovu hostovaných nebo rekonstruovaných aplikací v Azure s využitím místních aplikací
Úzce propojené místní aplikace v systémech, které se nedají okamžitě napravit ani modernizovat.
Přispěvatelé
Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.
Hlavní autoři:
- Ashish Khandelwal | Principal Engineering Architecture Manager
- Nithish Aruldoss | Technický architekt
Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.
Další kroky
- Další informace získáte od týmu Microsoft SQL Datoví technici.
- Průvodci migrací databází Azure