Szerkesztés

Nagyszámítógép-adatok replikálás és szinkronizálása az Azure-ban

Azure Data Factory
Azure Databricks

Ez a referenciaarchitektúra egy implementációs tervet vázol fel az adatok azure-ba való modernizálás során történő replikálására és szinkronizálására. Olyan technikai szempontokat tárgyal, mint az adattárak, az eszközök és a szolgáltatások.

Felépítés

Architecture diagram showing how to sync on-premises and Azure databases during mainframe modernization.

Töltse le az architektúra Visio-fájlját.

Munkafolyamat

A nagyszámítógépek és a középső rendszerek rendszeres időközönként frissítik a helyszíni alkalmazásadatbázisokat. A konzisztencia fenntartása érdekében a megoldás szinkronizálja a legújabb adatokat az Azure-adatbázisokkal. A szinkronizálási folyamat a következő lépéseket foglalja magában:

  1. Ezek a műveletek a folyamat során történnek:

    1. A helyszíni adatátjárók gyorsan és biztonságosan továbbítják az adatokat a helyszíni rendszerek és az Azure-szolgáltatások között. Ezzel a konfigurációval a helyszíni adatátjáró utasításokat kaphat az Azure-tól, és replikálhatja az adatokat anélkül, hogy a helyszíni hálózat közvetlenül felfedi a helyi adategységeket.
    2. Az Azure Data Factory-folyamatok olyan tevékenységeket vezényelnek, amelyek az adatkinyeréstől az adatbetöltésig terjednek. Ütemezheti a folyamattevékenységeket, manuálisan indíthatja el őket, vagy automatikusan aktiválhatja őket.

  2. A helyszíni adatbázisok, például a Db2 zOS, az i db2 és a Db2 LUW tárolják az adatokat.

  3. A folyamatok csoportosítják a tevékenységeket végrehajtó tevékenységeket. Az adatok kinyeréséhez a Data Factory dinamikusan létrehoz egy folyamatot helyszíni táblánként. Ezután nagy mértékben párhuzamos implementációt használhat, amikor adatokat replikál az Azure-ban. A megoldást azonban úgy is konfigurálhatja, hogy megfeleljen a követelményeknek:

    • Teljes replikáció: Replikálja a teljes adatbázist, és a cél Azure-adatbázisban szükséges módosításokat végez az adattípusokon és mezőkön.
    • Részleges, különbözeti vagy növekményes replikáció: A forrástáblákban vízjeloszlopokkal szinkronizálhatja a frissített sorokat az Azure-adatbázisokkal. Ezek az oszlopok egy folyamatosan növekvő kulcsot vagy a tábla utolsó frissítését jelző időbélyeget tartalmaznak.

    A Data Factory folyamatokat is használ a következő átalakítási feladatokhoz:

    • Adattípus-konverziók
    • Adatkezelés
    • Adatformázás
    • Oszlop származtatása
    • Adatelsimítás
    • Adatrendezés
    • Adatszűrés

  4. A saját üzemeltetésű integrációs modul (IR) biztosítja a Data Factory által a tevékenységek futtatásához és elküldéséhez használt környezetet.

  5. Az Azure Data Lake Storage Gen2 és az Azure Blob Storage helyet biztosít az adatok átmeneti tárolásához. Ez a lépés néha szükséges több forrásból származó adatok átalakításához és egyesítéséhez.

  6. Az adatok előkészítése a következő lépés. A Data Factory az Azure Databrickset, az egyéni tevékenységeket és a folyamat adatfolyamait használja az adatok gyors és hatékony átalakításához.

  7. A Data Factory adatokat tölt be relációs és nem relációs Azure-adatbázisokba:

    • Azure SQL
    • Azure Database for PostgreSQL
    • Azure Cosmos DB
    • Azure Data Lake Storage
    • Azure Database for MariaDB
    • Azure Database for MySQL

    Bizonyos használati esetekben más eszközök is betölthetnek adatokat.

  8. Más eszközök is replikálhatják és átalakíthatják az adatokat:

    • Microsoft Service for Distributed Relational Database Architecture (DRDA): Ezek a DRDA-szolgáltatások csatlakozhatnak az Azure SQL-adatbáziscsaládhoz, és naprakészen tarthatják a helyszíni adatbázisokat. Ezek a szolgáltatások helyszíni virtuális gépen (virtuális gépen) vagy Azure-beli virtuális gépen futnak.
    • SQL Server Migration Assistance (SSMA) for Db2: Ez az eszköz sémákat és adatokat migrál az IBM Db2-adatbázisokból az Azure-adatbázisokba.
    • SQL Server Integration Services (SSIS): Ez a platform képes adatokat kinyerni, átalakítani és betölteni.
    • Külső eszközök: Ha a megoldás közel valós idejű replikációt igényel, használhat külső eszközöket. Ezen ügynökök némelyike elérhető az Azure Marketplace-en.

  9. Az Azure Synapse Analytics kezeli az adatokat, és elérhetővé teszi az üzleti intelligencia és a gépi tanulási alkalmazások számára.

Összetevők

A megoldás a következő összetevőket használja:

Tools

  • A Microsoft Service for DRDA a gazdagépintegrációs kiszolgáló (HIS) összetevője. A Microsoft Service for DRDA egy alkalmazáskiszolgáló (AS), amelyet a DRDA Application Requester (AR) ügyfelei használnak. A DRDA AR-ügyfelek közé tartoznak például a z/OS-hez készült IBM Db2 és az i5/OS-hez készült Db2. Ezek az ügyfelek az AS használatával konvertálják a Db2 SQL-utasításokat, és futtatják őket az SQL Serveren.

  • A Db2-hez készült SSMA automatizálja a Db2-ből a Microsoft adatbázis-szolgáltatásokba való migrálást. A virtuális gépen való futtatás során ez az eszköz SQL Server-adatbázisobjektumokká alakítja a DB2-adatbázisobjektumokat, és létrehozza ezeket az objektumokat az SQL Serverben. A Db2 SSMA ezután adatokat migrál a Db2-ből a következő szolgáltatásokba:

    • SQL Server 2012
    • SQL Server 2014
    • SQL Server 2016
    • SQL Server 2017 Windows és Linux rendszeren
    • SQL Server 2019 Windows és Linux rendszeren
    • Azure SQL Database

  • Az Azure Synapse Analytics adatraktárak és big data rendszerek elemzési szolgáltatása. Ez az eszköz Spark-technológiákat használ, és mély integrációval rendelkezik a Power BI-val, az Azure Machine-Tanulás és más Azure-szolgáltatásokkal.

Adat integrátorok

  • Az Azure Data Factory egy hibrid adatintegrációs szolgáltatás. Ez a teljes mértékben felügyelt, kiszolgáló nélküli megoldás ETL- és ELT-munkafolyamatok létrehozására, ütemezésére és vezénylésére használható.

  • Az Azure Synapse Analytics egy nagyvállalati elemzési szolgáltatás, amely felgyorsítja az elemzési időt az adattárházakban és a big data rendszerekben. Az Azure Synapse egyesíti a legjobb SQL-technológiákat (amelyek a nagyvállalati adattárházakban használatosak), a big data-hoz használt Spark-technológiákat, a napló- és idősorozat-elemzéshez használt Data Explorert, az adatintegrálási folyamatokat és az ETL/ELT-t, valamint a többi Azure-szolgáltatással, például a Power BI-val, az Azure Cosmos DB-vel és az Azure Machine-Tanulás való mély integrációt.

  • Az SQL Server Integration Services (SSIS) egy nagyvállalati szintű adatintegrációs és átalakítási megoldások létrehozására szolgáló platform. Az SSIS használatával kezelheti, replikálhatja, tisztíthatja és bányászhatja az adatokat.

  • Az Azure Databricks egy adatelemzési platform. Az Apache Spark nyílt forráskódú elosztott feldolgozási rendszere alapján az Azure Databricks az Azure felhőplatformhoz van optimalizálva. Egy elemzési munkafolyamatban az Azure Databricks több forrásból olvas adatokat, és a Spark használatával biztosít elemzéseket.

Adattárolás

  • Az Azure SQL Database az Azure SQL-család része, és a felhőhöz készült. Ez a szolgáltatás a teljes mértékben felügyelt és örökzöld platform összes előnyét kínálja szolgáltatásként. Az SQL Database AI-alapú, automatizált funkciókat is biztosít, amelyek optimalizálják a teljesítményt és a tartósságot. A kiszolgáló nélküli számítási és rugalmas skálázási tárolási lehetőségek automatikusan igény szerint méretezik az erőforrásokat.

  • A felügyelt SQL-példány az Azure SQL szolgáltatásportfóliójának része. Ez az intelligens, skálázható felhőalapú adatbázis-szolgáltatás egyesíti a legszélesebb körű SQL Server-motorkompatibilitást a teljes mértékben felügyelt és örökzöld platform szolgáltatásként nyújtott előnyeivel. A felügyelt SQL-példányokkal nagy léptékben modernizálhatja a meglévő alkalmazásokat.

  • Az Azure-beli virtuális gépeken futó SQL Server lehetővé teszi az SQL Server számítási feladatainak felhőbe való áthelyezését 100 százalékos kódkompatibilitás mellett. Az Azure SQL-család részeként az Azure-beli virtuális gépeken futó SQL Server az SQL Server összesített teljesítményét, biztonságát és elemzését kínálja az Azure rugalmasságával és hibrid kapcsolatával. Az Azure-beli virtuális gépeken futó SQL Serverrel migrálhatja a meglévő alkalmazásokat, vagy új alkalmazásokat hozhat létre. A legújabb SQL Server-frissítéseket és kiadásokat is elérheti, beleértve az SQL Server 2019-et is.

  • Az Azure Database for PostgreSQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú PostgreSQL-adatbázismotor közösségi kiadásán alapul. Ezzel a szolgáltatással az adatbázis-kezelés helyett az alkalmazásinnovációra összpontosíthat. A számítási feladatokat gyorsan és egyszerűen skálázhatja.

  • Az Azure Cosmos DB egy globálisan elosztott, többmodelles adatbázis. Az Azure Cosmos DB-vel a megoldások rugalmasan és egymástól függetlenül méretezhetik az átviteli sebességet és a tárolást tetszőleges számú földrajzi régióban. Ez a teljes mértékben felügyelt NoSQL-adatbázis-szolgáltatás garantálja az egy számjegyű ezredmásodperc késéseket a világon bárhol a kilencvenkilencedik percentilisben.

  • A Data Lake Storage egy tárház, amely nagy mennyiségű adatot tárol natív, nyers formátumban. A Data Lake-tárolók terabájtos és petabájtos adatokra való skálázásra vannak optimalizálva. Az adatok általában több, heterogén forrásból származnak, és strukturáltak, részben strukturáltak vagy strukturálatlanok lehetnek. A Data Lake Storage Gen2 egyesíti a Data Lake Storage Gen1 képességeit a Blob Storage-jal. Ez a következő generációs Data Lake-megoldás fájlrendszer-szemantikát, fájlszintű biztonságot és skálázást biztosít. De a Blob Storage rétegzett tárolási, magas rendelkezésre állási és vészhelyreállítási képességeit is kínálja.

  • Az Azure Database for MariaDB egy felhőalapú relációs adatbázis-szolgáltatás. Ez a szolgáltatás a MariaDB community edition adatbázismotoron alapul.

  • Az Azure Database for MySQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú MySQL-adatbázismotor közösségi kiadásán alapul.

  • A Blob Storage optimalizált felhőalapú objektumtárolást biztosít, amely nagy mennyiségű strukturálatlan adatot kezel.

Networking

  • A helyszíni adatátjárók olyan hídként szolgálnak, amely a helyszíni adatokat felhőszolgáltatásokkal köti össze. Az átjárót általában egy dedikált helyszíni virtuális gépre telepíti. A felhőszolgáltatások ezután biztonságosan használhatják a helyszíni adatokat.

  • Az integrációs modul az a számítási infrastruktúra, amelyet a Data Factory a különböző hálózati környezetek adatainak integrálására használ. A Data Factory saját üzemeltetésű IRS-ek használatával másolja az adatokat a felhőalapú adattárak és a helyszíni hálózatok adattárai között. Az Azure Synapse Pipelinest is használhatja.

Forgatókönyv részletei

Az adatok rendelkezésre állása és integritása fontos szerepet játszik a nagyszámítógépek és a középső modernizáció terén. Az adatelső stratégiák segítenek megőrizni az adatokat az Azure-ba való migrálás során. Annak érdekében, hogy a modernizálás során ne legyen hatással az alkalmazásokra, néha gyorsan replikálnia kell az adatokat, vagy szinkronizálnia kell a helyszíni adatokat az Azure-adatbázisokkal.

Ez a megoldás a következőket tartalmazza:

  • Kinyerés: Csatlakozás forrásadatbázisba való be- és kinyerés.
  • Átalakulás:
    • Előkészítés: Ideiglenesen tárolja az adatokat az eredeti formátumban, és előkészíti az átalakításra.
    • Előkészítés: Adatok átalakítása és manipulálása a céladatbázis követelményeinek megfelelő leképezési szabályokkal.
  • Betöltés: Adatok beszúrása céladatbázisba.

Lehetséges használati esetek

A megoldás előnyeit élvező adatreplikációs és szinkronizálási forgatókönyvek a következők:

  • Command Query Responsibility Szegregáció (CQRS) architektúrák, amelyek az Azure-t használják az összes lekérdezési csatorna kiszolgálására.
  • Olyan környezetek, amelyek helyszíni alkalmazásokat tesztelnek, és párhuzamosan újrakonstruált vagy újraszerkesztett alkalmazásokat tesztelnek.
  • Olyan helyszíni rendszerek, amelyek szorosan összekapcsolt alkalmazásokkal rendelkeznek, amelyek szakaszos szervizelést vagy korszerűsítést igényelnek.

Javaslatok

Amikor a Data Factoryt használja az adatok kinyerésére, végezze el a másolási tevékenység teljesítményének finomhangolását.

Considerations

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.

Tartsa szem előtt ezeket a szempontokat, amikor figyelembe veszi ezt az architektúrát.

Megbízhatóság

A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfelek felé vállalt kötelezettségeknek. További információ: A megbízhatósági pillér áttekintése.

  • Az infrastruktúra-kezelés, beleértve a rendelkezésre állást is, automatizált az Azure-adatbázisokban.

  • A Microsoft Service for DRDA által biztosított feladatátvételi védelemmel kapcsolatos információkért tekintse meg a készletezést és a feladatátvételt .

  • A helyszíni adatátjárót és az integrációs modult a magasabb rendelkezésre állási garanciák biztosítása érdekében fürtözheti.

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.

  • Használja a hálózati biztonsági csoportokat , hogy a szolgáltatások hozzáférését csak a működésükhöz szükségesre korlátozza.

  • Privát végpontokat használhat a PaaS -szolgáltatásokhoz (platform mint szolgáltatás). Szolgáltatási tűzfalak használatával egészítheti ki az interneten keresztül elérhető és elérhetetlen szolgáltatások biztonságát.

  • Vegye figyelembe a helyszíni ügyfélidentitások és az Azure-beli ügyfélidentitások közötti különbségeket. A különbségeket kompenzálni kell.

  • Felügyelt identitások használata összetevők között végzett adatfolyamokhoz.

  • A Microsoft Service for DRDA által támogatott ügyfélkapcsolatok típusairól a DrDA-hoz készült Microsoft Service-t használó tervezési és tervezési megoldások című témakörben olvashat. Az ügyfélkapcsolatok hatással vannak a hálózat tranzakcióira, készletezésére, feladatátvételére, hitelesítésére és titkosítására.

Költségoptimalizálás

A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.

  • A díjszabási modellek az összetevő-szolgáltatások között eltérőek. Tekintse át az elérhető összetevő-szolgáltatások díjszabási modelljeit, hogy a tarifamodellek megfeleljenek a költségvetésnek.

  • A megoldás implementálási költségeinek becsléséhez használja az Azure díjszabási kalkulátorát .

Működés eredményessége

Az üzemeltetési kiválóság azokat az üzemeltetési folyamatokat fedi le, amelyek üzembe helyeznek egy alkalmazást, és éles környezetben tartják azt. További információ: A működési kiválósági pillér áttekintése.

  • Az infrastruktúra-kezelés, beleértve a méretezhetőséget is, automatizálva van az Azure-adatbázisokban.

  • A saját üzemeltetésű integrációs modult úgy skálázhatja fel, hogy a logikai példányt több helyszíni géphez társítja aktív-aktív módban.

  • A méretezhetőség érdekében fürtözheti a helyszíni adatátjárót és az integrációs modult.

Teljesítmény hatékonysága

A teljesítménybeli hatékonyság lehetővé teszi, hogy a számítási feladatok hatékonyan méretezhetők legyenek a felhasználók igényei szerint. További információ: Teljesítményhatékonysági pillér áttekintése.

További lépések