Apache®, Spark a logo plamene jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.
Tento článek popisuje ucelený plán modernizace pro sálové a střední zdroje dat.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
Následující tok dat popisuje proces modernizace datové vrstvy sálového počítače. Odpovídá předchozímu diagramu.
Sálové a střední systémy ukládají data do zdrojů dat, jako jsou systémy souborů (VSAM, ploché soubory, LTFS), relační databáze (Db2 for z/OS, Db2 for IBM i, Db2 pro Linux systém UNIX a Windows) nebo nerelační databáze (IMS, ADABAS, IDMS).
Proces převodu objektů extrahuje definice objektů ze zdrojových objektů. Definice se pak převedou na odpovídající objekty v cílovém úložišti dat.
- Pomocník s migrací SQL Serveru (SSMA) pro Db2 migruje schémata a data z databází IBM Db2 do databází Azure.
- Spravované Zprostředkovatel dat pro Soubory hostitele převádí objekty podle:
- Analýza rozložení záznamů COBOL a RPG nebo kopírování.
- Mapování copybooků na objekty jazyka C#, které aplikace .NET používají.
- Nástroje třetích stran provádějí automatizované převody objektů u nerelačních databází, systémů souborů a jiných úložišť dat.
Data se ingestují a transformují. Sálové a střední uspořádání systémů ukládají data systému souborů ve formátu kódování EBCDIC ve formátech souborů, jako jsou:
- Indexované soubory VSAM
- Neindexované soubory GDG
- Ploché soubory
CoBOL, PL/I a sady pro kopírování jazyka sestavení definují datovou strukturu těchto souborů.
a. FTP přenáší sálové a střední datové sady systému souborů s jednoduchými rozloženími a rozbalenými poli v binárním formátu a odpovídajícím copybookem do Azure.
b. Data se převedou. Vlastní konektor Služby Azure Data Factory je řešení vyvinuté pomocí klientské komponenty hostitelského integračního serveru hostitele k převodu datových sad mainframů.
Hostitelský integrační server integruje existující hostitelské systémy, programy, zprávy a data IBM s aplikacemi Azure. Hostitelský integrační server je klientská komponenta hostitelského souboru, kterou můžete použít k vývoji vlastního řešení pro převod datové sady.
Vlastní konektor Azure Data Factory je založený na opensourcové rozhraní Sparku a běží na Azure Synapse Analytics. Stejně jako jiná řešení může copybook analyzovat a převést data. Ke správě služby pro převod dat použijte konektor Azure Logic Apps Parse Host File Contents.
c. Migrují se data relační databáze.
Sálový počítač IBM a střední uspořádání systémů ukládají data v relačních databázích takto:
Tyto služby migrují data databáze:
- Data Factory používá konektor Db2 k extrakci a integraci dat z databází.
- SQL Server Integration Services zpracovává různé úlohy ETL dat.
d. Migrují se nerelační data databáze.
Sálový počítač IBM a systémy střední uspořádání ukládají data v nerelačních databázích takto:
Produkty třetích stran integrují data z těchto databází.
Služby Azure, jako jsou Data Factory a AzCopy , načítají data do databází Azure a úložiště dat Azure. K načtení dat můžete také použít řešení třetích stran a vlastní řešení načítání.
Azure poskytuje řadu řešení spravovaných úložišť dat:
Služby Azure používají modernizované datové vrstvy pro výpočty, analýzy, úložiště a sítě.
Klientské aplikace také používají modernizované datové vrstvy.
Komponenty
Úložiště dat
- SQL Database je součástí řady Azure SQL. Je sestavená pro cloud a poskytuje všechny výhody plně spravované a evergreen platformy jako služby. SQL Database také poskytuje automatizované funkce využívající AI, které optimalizují výkon a odolnost. Bezserverové výpočetní prostředky a možnosti úložiště Hyperscale automaticky škálujte prostředky na vyžádání.
- Azure Database for PostgreSQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje PostgreSQL .
- Azure Cosmos DB je globálně distribuovaná vícemodelovádatabáze NoSQL .
- Azure Database for MySQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje MySQL .
- Azure Database for MariaDB je cloudová relační databázová služba. Je založená na databázovém stroji MariaDB Community Edition.
- SQL Managed Instance je inteligentní škálovatelná cloudová databázová služba, která nabízí všechny výhody plně spravované a stálegreenní platformy jako služby. Sql Managed Instance má téměř 100% kompatibilitu s nejnovějším databázovým strojem edice SQL Server Enterprise. Poskytuje také nativní implementaci virtuální sítě, která řeší běžné problémy se zabezpečením.
- Azure Data Lake Storage je úložiště, které uchovává velké objemy dat v nativním nezpracovaném formátu. Úložiště Data Lake jsou optimalizovaná pro škálování na terabajty a petabajty dat. Data obvykle pocházejí z několika heterogenních zdrojů. Může to být strukturovaná, částečně strukturovaná nebo nestrukturovaná.
Compute
- Data Factory integruje data napříč různými síťovými prostředími pomocí prostředí IR (Integration Runtime ), což je výpočetní infrastruktura. Služba Data Factory kopíruje data mezi cloudovými úložišti dat a úložišti dat v místních sítích pomocí místních prostředí IRS v místním prostředí.
- Azure Virtual Machines poskytuje škálovatelné výpočetní prostředky na vyžádání. Virtuální počítač Azure poskytuje flexibilitu virtualizace, ale eliminuje nároky na údržbu fyzického hardwaru. Virtuální počítače Azure nabízejí výběr operačních systémů, včetně Windows a Linuxu.
Integrátory dat
- Azure Data Factory je hybridní služba pro integraci dat. V tomto řešení vlastní konektor Azure Data Factory používá klientskou komponentu Hostitelského integračního serveru hostitele k převodu datových sad mainframů. S minimálním nastavením můžete pomocí vlastního konektoru převést datovou sadu sálového počítače stejně jako jakýkoli jiný konektor Azure Data Factory.
- AzCopy je nástroj příkazového řádku, který přesouvá objekty blob nebo soubory do a z účtů úložiště.
- SQL Server Integration Services je platforma pro vytváření řešení integrace a transformace dat na podnikové úrovni. Můžete ho použít k řešení složitých obchodních problémů pomocí:
- Kopírování nebo stahování souborů
- Načítání datových skladů
- Čištění a dolování dat.
- Správa objektů a dat SQL Serveru
- Technologie a nástroje serveru host Integration Server umožňují integrovat stávající hostitelské systémy, programy, zprávy a data IBM s aplikacemi Azure. Klientská komponenta Host File poskytuje flexibilitu pro data převedená z EBCDIC na ASCII. Můžete například vygenerovat JSON/XML z převedených dat.
- Azure Synapse spojuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat. Řešení převodu Azure Synapse použité v této architektuře je založené na Apache Sparku a je vhodným kandidátem pro převod úloh velkých sálových datových sad. Podporuje širokou škálu datových struktur a cílů sálových počítačů a vyžaduje minimální úsilí o kódování.
Další nástroje
- Pomocník s migrací SQL Serveru pro Db2 automatizuje migraci z Db2 do databázových služeb Microsoftu. Když běží na virtuálním počítači, tento nástroj převede databázové objekty Db2 na databázové objekty SQL Serveru a vytvoří tyto objekty v SQL Serveru.
- Zprostředkovatel dat pro soubory hostitele je součástí serveru pro integraci hostitelů, který používá připojení offline, SNA nebo TCP/IP.
- Při offline připojeních Zprostředkovatel dat číst a zapisovat záznamy v místním binárním souboru.
- S připojením SNA a TCP/IP Zprostředkovatel dat číst a zapisovat záznamy uložené ve vzdálených datových sadách z/OS (IBM Z Series Mainframe) nebo vzdálených fyzických souborech i5/OS (IBM AS/400 a iSeries). Protokol TCP/IP používají pouze systémy i5/OS.
- Služby Azure poskytují prostředí, nástroje a procesy pro vývoj a škálování nových aplikací ve veřejném cloudu.
Podrobnosti scénáře
Moderní řešení úložiště dat, jako je datová platforma Azure, poskytují lepší škálovatelnost a výkon než sálové a střední uspořádání systémů. Díky modernizaci systémů můžete tyto výhody využít. Aktualizace technologií, infrastruktury a postupů je ale složitá. Tento proces zahrnuje vyčerpávající šetření obchodních a technických aktivit. Správa dat je jednou z hledisek při modernizaci systémů. Musíte se také podívat na vizualizaci a integraci dat.
Úspěšná modernizace používá strategii pro první data. Při použití tohoto přístupu se zaměříte na data, nikoli na nový systém. Správa dat už není jen položkou v kontrolním seznamu modernizace. Místo toho jsou data středem. Koordinovaná řešení dat zaměřená na kvalitu nahrazují fragmentovaná, špatně řízená řešení.
Toto řešení využívá komponenty datové platformy Azure v přístupu založeném na datech. Konkrétně řešení zahrnuje:
- Převod objektů. Převod definic objektů ze zdrojového úložiště dat na odpovídající objekty v cílovém úložišti dat.
- Příjem dat. Připojení do zdrojového úložiště dat a extrahování dat.
- Transformace dat Transformace extrahovaných dat do odpovídajících cílových struktur úložiště dat
- Úložiště dat – Načítání dat ze zdrojového úložiště dat do cílového úložiště dat, a to jak zpočátku, tak průběžně.
Potenciální případy použití
Organizace, které používají sálové a střední systémy, můžou z tohoto řešení těžit, zejména pokud chtějí dosáhnout těchto cílů:
- Modernizace důležitých úloh
- Získejte business intelligence, abyste zlepšili provoz a získali konkurenční výhodu.
- Odeberte vysoké náklady a pevnost, které jsou spojené s sálovými a středními úložišti dat.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, sadu hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework. Pokud k převodu dat použijete Zprostředkovatel dat klienta Host Files, zapněte sdružování připojení, abyste zkrátili dobu spuštění připojení. Při použití služby Data Factory k extrakci dat vylaďte výkon aktivity kopírování.
Zabezpečení
Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.
- Mějte na paměti rozdíly mezi místními klientskými identitami a identitami klientů v Azure. Potřebujete kompenzovat všechny rozdíly.
- Použití spravovaných identit pro toky dat komponent-komponent.
- Při použití Zprostředkovatel dat pro hostitelské soubory k převodu dat postupujte podle doporučení v Zprostředkovatel dat zabezpečení a ochrany souborů hostitele.
Optimalizace nákladů
Optimalizace nákladů se týká snížení zbytečných výdajů a zlepšení efektivity provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.
- Pomocník s migrací SQL Serveru je bezplatný podporovaný nástroj, který zjednodušuje migraci databáze z Db2 na SQL Server, SQL Database a SQL Managed Instance. Pomocník s migrací SQL Serveru automatizuje všechny aspekty migrace, včetně analýzy posouzení migrace, převodu schématu a příkazů SQL a migrace dat.
- Řešení založené na Azure Synapse Sparku je vytvořené z opensourcových knihoven. Eliminuje finanční zátěž nástrojů pro převod licencí.
- K odhadu nákladů na implementaci tohoto řešení použijte cenovou kalkulačku Azure.
Efektivita výkonu
Efektivita výkonu je schopnost úlohy škálovat se tak, aby efektivním způsobem splňovala požadavky, které na ni kladou uživatelé. Další informace najdete v přehledu pilíře efektivity výkonu.
- Klíčovými pilíři efektivity výkonu jsou správa výkonu, plánování kapacity, škálovatelnost a volba vhodného modelu výkonu.
- Místní prostředí IR můžete škálovat přidružením logické instance k několika místním počítačům v režimu aktivní-aktivní.
- Azure SQL Database nabízí možnost dynamicky škálovat databáze. V bezserverové úrovni může výpočetní prostředky automaticky škálovat. Elastický fond, který umožňuje databázím sdílet prostředky ve fondu, je možné škálovat pouze ručně.
Přispěvatelé
Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.
Hlavní autor:
- Ashish Khandelwal | Hlavní inženýrský architekt
Další přispěvatelé:
- Mick Alberts | Technický spisovatel
- Nithish Aruldoss | Technický architekt
Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.
Další kroky
Projděte si příručky k migraci databází Azure. Další informace získáte od Datoví technici Azure – modernizace mainframů a midrange.
Podívejte se na tyto články:
- Úlohy IBM v Azure
- Změna hostitele sálového počítače na virtuálních počítačích Azure
- Úlohy mainframů podporované v Azure
- Přesun výpočetních prostředků sálového počítače do Azure