Upravit

Přesun archivačních dat z mainframových systémů do Azure

Azure Data Factory
Azure Storage
Azure Files
Azure Blob Storage
Azure Data Box

Tato referenční architektura ukazuje, jak přesunout data z mainframových systémů a systémů střední kategorie do Azure. V této architektuře se archivovaná data obsluhují a používají pouze v sálovém systému. Azure se používá jenom jako paměťové médium.

Architektura

Diagram znázorňující architekturu pro archivaci mainframových dat do Azure

Stáhněte si soubor aplikace Visio s touto architekturou.

Pokud se chcete rozhodnout, kterou metodu pro přesun dat mezi sálovým systémem a úložištěm Azure použít, zvažte frekvenci načítání dat a množství dat. K dispozici jsou řešení microsoftu a třetích stran:

  • Řešení Microsoftu.
    • Konektor Azure Data Factory FTP.
    • Aktivita kopírování služby Data Factory, která může kopírovat data do libovolného řešení úložiště Azure.
    • Mainframe JCL do Azure Blob pomocí Javy, vlastního řešení pro přesun dat z mainframového systému do Azure prostřednictvím jazyka JCL (Job Control Language). Pokud potřebujete další informace, odešlete e-mail na adresu datasqlninja@microsoft.com.
  • Archivní řešení třetích stran. Řešení, která můžete snadno integrovat s sálovými systémy, systémy střední kategorie a službami Azure.

Pracovní postup

  1. Konektor Azure Data Factory FTP přesune data z sálového systému do Azure Blob Storage. Toto řešení vyžaduje zprostředkující virtuální počítač, na kterém je nainstalované místní prostředí Integration Runtime.

  2. Aktivita kopírování služby Data Factory se připojí k databázi Db2 a zkopíruje data do úložiště Azure. Toto řešení také vyžaduje zprostředkující virtuální počítač, na kterém je nainstalované místní prostředí Integration Runtime.

  3. Vlastní řešení Microsoft Mainframe JCL do Azure Blob s využitím vlastního řešení Java přesouvá data mezi systémem mainframů a službou Blob Storage a naopak. Toto řešení je založené na Javě a běží na systémových službách Unix v sálovém počítači. Toto řešení můžete získat kontaktováním .datasqlninja@microsoft.com

    a. Potřebujete dokončit jednorázovou konfiguraci řešení. Tato konfigurace zahrnuje získání přístupových klíčů služby Blob Storage a přesun požadovaných artefaktů do sálového systému.

    b. Odeslání JCL přesune soubory do a z mainframu a blob storage.

    c. Soubory se v Azure ukládají v binárním formátu. Můžete nakonfigurovat vlastní řešení pro převod EBCDIC na ASCII pro jednoduché datové typy.

  4. Azure Data Box vám volitelně může pomoct fyzicky přenést data mainframů do Azure. Tato možnost je vhodná v případě, že je potřeba migrovat velké množství dat a online metody přenosu trvá příliš dlouho. (Například pokud migrace trvá týdny.)

  5. Jednoduchou interakci s prostředím sálového počítače nebo prostředí střední kategorie zajišťují archivní řešení třetích stran.

    Tato řešení interagují s sálovými počítači a zpracovávají různé parametry mainframů, jako jsou datové typy, typy záznamů, typy úložiště a metody přístupu. Slouží jako most mezi Azure a sálovým modelem. Některá řešení třetích stran připojují jednotku úložiště k sálu a pomáhají přenášet data do Azure.

  6. Data se pravidelně synchronizují a archivují prostřednictvím archivačního řešení třetí strany. Jakmile jsou data dostupná prostřednictvím řešení třetí strany, může je řešení snadno odeslat do Azure pomocí dostupných konektorů.

  7. Data se ukládají v Azure.

  8. Podle potřeby se data z Azure odvolají zpět do systémů mainframů nebo systémů střední kategorie.

Komponenty

  • Azure Storage poskytuje masivně škálovatelné a vysoce zabezpečené cloudové úložiště pro vaše data, aplikace a úlohy. Azure Files poskytuje jednoduché a zabezpečené bezserverové cloudové sdílené složky. Tyto komponenty se používají k synchronizaci a uchovávání dat.
  • Azure Data Factory je služba hybridní integrace dat, kterou můžete použít k vytváření, plánování a orchestraci pracovních postupů ETL a ELT.
  • Azure Data Box je fyzické zařízení, které můžete použít k přesunu místních dat do Azure.

Alternativy

Můžete použít klasickou metodu přesunu dat z sálového počítače nebo systému střední kategorie přes FTP. Data Factory poskytuje konektor FTP , který můžete použít k archivaci dat v Azure.

Podrobnosti scénáře

Sálové systémy a systémy střední kategorie generují, zpracovávají a ukládají obrovské objemy dat. Když tato data zestárnou, obvykle nejsou užitečná. Dodržování předpisů a regulační pravidla ale někdy vyžadují, aby se tato data ukládaly po určitý počet let, takže jejich archivace je důležitá. Archivací těchto dat můžete snížit náklady a optimalizovat prostředky. Archivace dat také pomáhá s analýzou dat a poskytuje historii vašich dat.

Potenciální případy použití

Archivace dat do cloudu vám může pomoct:

  • Uvolněte prostředky úložiště v sálových počítačích a systémech střední kategorie.
  • Optimalizujte výkon dotazů ukládáním pouze relevantních dat do aktivního systému.
  • Snižte provozní náklady díky úspornějšímu ukládání dat.
  • Používejte archivovaná data pro analýzu k vytváření nových příležitostí a k lepším obchodním rozhodnutím.

Doporučení

V závislosti na tom, jak používáte data, můžete je chtít převést na ASCII z binárního souboru a pak je nahrát do Azure. Tím usnadníte analýzu v Azure.

Požadavky

  • Během archivace se musí zpracovávat složité datové typy v sálovém počítači.
  • Odborníci na danou aplikaci můžou určit, která data je potřeba archivovat.
  • Pokud chcete určit dobu mezi synchronizacemi, vezměte v úvahu faktory, jako jsou obchodní důležitost, požadavky na dodržování předpisů a frekvence přístupu k datům.

Archivní řešení třetích stran

Některá řešení třetích stran jsou k dispozici na Azure Marketplace. Každé z těchto řešení vyžaduje jedinečnou konfiguraci. Nastavení těchto řešení je jedním z hlavních úkolů implementace této architektury.

Azure Storage

Azure nabízí celou řadu možností pro různé aplikační a technické požadavky, jako je častý a občasný přístup a strukturovaná a nestrukturovaná data. Ve službě Azure Storage můžete nastavit různé konfigurace životního cyklu úložiště. Můžete definovat pravidla pro správu životního cyklu. Přehled najdete v tématu Konfigurace zásad správy životního cyklu.

Odvolání dat

Odvolání archivovaných dat je důležitým aspektem archivních řešení. Několik řešení třetích stran poskytuje bezproblémové prostředí pro odvolávání archivovaných dat. Je to jednoduché jako spuštění příkazu místně. Agent třetí strany automaticky získá data z Azure a ingestuje je zpět do sálového systému.

Optimalizace nákladů

K odhadu nákladů na implementaci tohoto řešení použijte cenovou kalkulačku Azure.

Přispěvatelé

Tento článek spravuje Microsoft. Původně ji napsali následující přispěvatelé.

Hlavní autor:

Další přispěvatelé:

Další kroky

Další informace získáte od azure Datové Inženýrství – Modernizace mainframů nebo midrange.

Projděte si tyto zdroje informací: