Az Apache®, a Spark és a láng emblémája az Apache Software Foundation bejegyzett védjegye vagy védjegye a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Ez a cikk a nagyszámítógépek és középkategóriás adatforrások végpontok közötti modernizálási tervét ismerteti.
Felépítés
Töltse le az architektúra Visio-fájlját.
Adatfolyam
Az alábbi adatfolyam egy nagyszámítógépes adatréteg modernizálásának folyamatát vázolja fel. Ez megfelel az előző diagramnak.
A főszámítógépek és a középső rendszerek adatforrásokban tárolják az adatokat, például fájlrendszerekben (VSAM, lapos fájl, LTFS), relációs adatbázisokban (db2 z/OS-hez, DB2 ibm i-hez, Db2 Linux UNIX-hoz és Windowshoz) vagy nem relációs adatbázisokban (IMS, ADABAS, IDMS).
Az objektumkonvertálási folyamat kinyeri az objektumdefiníciókat a forrásobjektumokból. A definíciók ezután a céladattár megfelelő objektumaivá alakulnak.
- A Db2-hez készült SQL Server Migration Assistant (SSMA) sémákat és adatokat migrál az IBM Db2-adatbázisokból az Azure-adatbázisokba.
- A gazdagépfájlok felügyelt adatszolgáltatója a következőkkel konvertálja az objektumokat:
- COBOL- és RPG-rekordelrendezések vagy -forgatókönyvek elemzése.
- A vágókönyvek leképezése a .NET-alkalmazások által használt C#-objektumokra.
- A külső eszközök automatizált objektumátalakítást végeznek nem relációs adatbázisokon, fájlrendszereken és más adattárakon.
Az adatok betöltése és átalakítása történik. A nagyszámítógépek és a középső rendszerek EBCDIC-kódolású formátumban tárolják a fájlrendszer adatait a következő fájlformátumokban:
- Indexelt VSAM-fájlok
- Nem indexelt GDG-fájlok
- Egybesimított fájlok
A COBOL, a PL/I és a szerelvénynyelvi copybookok határozzák meg ezeknek a fájloknak az adatstruktúráját.
a. Az FTP egyetlen elrendezéssel és kicsomagolt mezőkkel, valamint a megfelelő vágókönyvvel továbbítja a főszámítógépet és a központi fájlrendszer adatkészleteit az Azure-ba.
b. Az adatok konvertálva lesznek. Az Azure Data Factory egyéni összekötője egy megoldás, amelyet a gazdagépintegrációs kiszolgáló gazdagépfájl-ügyfél összetevőjével fejlesztettek ki a főszámítógép-adathalmazok konvertálásához.
A gazdagépintegrációs kiszolgáló integrálja a meglévő IBM-gazdarendszereket, programokat, üzeneteket és adatokat az Azure-alkalmazásokkal. A gazdagépintegrációs kiszolgáló egy gazdagépfájl-ügyfélösszetevő, amellyel egyéni megoldást fejleszthet az adathalmaz-átalakításhoz.
Az Azure Data Factory egyéni összekötője a nyílt forráskódú Spark-keretrendszeren alapul, és az Azure Synapse Analyticsen fut. Más megoldásokhoz hasonlóan elemezheti a vágókönyvet, és adatokat konvertálhat. Az adatkonvertálási szolgáltatás kezelése az Azure Logic Apps Parse Gazdagépfájl-tartalom összekötőjével.
c. A relációs adatbázis adatainak migrálása történik.
Az IBM nagyszámítógépes és középkategóriás rendszerei az alábbihoz hasonló relációs adatbázisokban tárolják az adatokat:
Ezek a szolgáltatások migrálják az adatbázis adatait:
- A Data Factory egy Db2-összekötő használatával nyer ki és integrál adatokat az adatbázisokból.
- Az SQL Server Integration Services különböző adat-ETL-feladatokat kezel.
d. A nem relációs adatbázis adatai migrálva lesznek.
Az IBM nagyszámítógépes és középkategóriás rendszerei az alábbihoz hasonló, nem relációs adatbázisokban tárolják az adatokat:
- IDMS, egy hálózati modell adatbázis-kezelő rendszere (DBMS)
- IMS, hierarchikus modell DBMS
- Adabas
- Datacom
A külső termékek integrálják ezekből az adatbázisokból származó adatokat.
Az Olyan Azure-szolgáltatások, mint a Data Factory és az AzCopy , adatokat töltenek be az Azure-adatbázisokba és az Azure-adattárakba. Az adatok betöltéséhez külső megoldásokat és egyéni betöltési megoldásokat is használhat.
Az Azure számos felügyelt adattárolási megoldást kínál:
Az Azure-szolgáltatások a modernizált adatszintet használják a számítástechnikához, az elemzéshez, a tároláshoz és a hálózatkezeléshez.
Az ügyfélalkalmazások a modernizált adatszintet is használják.
Összetevők
Adattárolás
- Az SQL Database az Azure SQL-család része. A felhőhöz készült, és a teljes mértékben felügyelt és örökzöld platform minden előnyét biztosítja szolgáltatásként. Az SQL Database AI-alapú automatizált funkciókat is biztosít, amelyek optimalizálják a teljesítményt és a tartósságot. A kiszolgáló nélküli számítási és rugalmas skálázási tárolási lehetőségek automatikusan igény szerint méretezik az erőforrásokat.
- Az Azure Database for PostgreSQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú PostgreSQL-adatbázismotor közösségi kiadásán alapul.
- Az Azure Cosmos DB egy globálisan elosztott többmodellesNoSQL-adatbázis .
- Az Azure Database for MySQL egy teljes mértékben felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú MySQL-adatbázismotor közösségi kiadásán alapul.
- Az Azure Database for MariaDB egy felhőalapú relációs adatbázis-szolgáltatás. Ez a MariaDB community edition adatbázismotoron alapul.
- A felügyelt SQL-példány egy intelligens, méretezhető felhőalapú adatbázis-szolgáltatás, amely a teljes mértékben felügyelt és örökzöld platform összes előnyét kínálja szolgáltatásként. A felügyelt SQL-példány majdnem 100%-os kompatibilitással rendelkezik a legújabb SQL Server Enterprise kiadású adatbázismotorral. Emellett natív virtuális hálózati implementációt is biztosít, amely a gyakori biztonsági problémákat kezeli.
- Az Azure Data Lake Storage egy tárház, amely nagy mennyiségű adatot tárol natív, nyers formátumban. A Data Lake-tárolók terabájtos és petabájtos adatokra való skálázásra vannak optimalizálva. Az adatok általában több heterogén forrásból származnak. Strukturált, részben strukturált vagy strukturálatlan is lehet.
Compute
- A Data Factory különböző hálózati környezetekben integrálja az adatokat egy integrációs modul (IR) használatával, amely egy számítási infrastruktúra. A Data Factory saját üzemeltetésű IRS-ek használatával másolja az adatokat a felhőalapú adattárak és a helyszíni hálózatokban lévő adattárak között.
- Az Azure Virtual Machines igény szerinti, méretezhető számítási erőforrásokat biztosít. Egy Azure-beli virtuális gép (VM) biztosítja a virtualizálás rugalmasságát, de kiküszöböli a fizikai hardverek karbantartási igényeit. Az Azure-beli virtuális gépek számos operációs rendszert kínálnak, beleértve a Windowst és a Linuxot is.
Adat integrátorok
- Az Azure Data Factory egy hibrid adatintegrációs szolgáltatás. Ebben a megoldásban egy egyéni Azure Data Factory-összekötő a gazdagépintegrációs kiszolgáló gazdagépfájl-ügyfél összetevőjét használja a főszámítógép-adathalmazok konvertálásához. Minimális beállítással egyéni összekötővel konvertálhatja a főszámítógép-adathalmazt ugyanúgy, mint bármely más Azure Data Factory-összekötőt.
- Az AzCopy egy parancssori segédprogram, amely blobokat vagy fájlokat helyez át a tárfiókokba és kifelé.
- Az SQL Server Integration Services egy nagyvállalati szintű adatintegrációs és átalakítási megoldások létrehozására szolgáló platform. Összetett üzleti problémák megoldásához az alábbiakkal oldhatja meg:
- Fájlok másolása vagy letöltése.
- Adattárházak betöltése.
- Adatok tisztítása és bányászata.
- SQL Server-objektumok és -adatok kezelése.
- A gazdagépintegrációs kiszolgáló technológiái és eszközei lehetővé teszik a meglévő IBM-gazdarendszerek, programok, üzenetek és adatok Azure-alkalmazásokkal való integrálását. A gazdagépfájl ügyfélösszetevője rugalmasságot biztosít az EBCDIC-ből ASCII-vé konvertált adatok számára. Létrehozhat például JSON-t/XML-t a konvertált adatokból.
- Az Azure Synapse egyesíti az adatintegrációt, a vállalati adattárházakat és a big data-elemzéseket. Az architektúrában használt Azure Synapse-konverziós megoldás az Apache Sparkon alapul, és jó választás a nagy méretű adathalmazok számítási feladatainak konvertálásához. A nagyszámítógépes adatstruktúrák és -célok széles skáláját támogatja, és minimális kódolási erőfeszítést igényel.
Other tools
- A DB2-hez készült SQL Server Migration Assistant automatizálja a Db2-ből a Microsoft adatbázis-szolgáltatásokba való migrálást. Amikor egy virtuális gépen fut, ez az eszköz SQL Server-adatbázisobjektumokká alakítja a DB2 adatbázis-objektumokat, és létrehozza ezeket az objektumokat az SQL Serverben.
- A gazdagépfájlok adatszolgáltatója a gazdagépintegrációs kiszolgáló azon összetevője, amely offline, SNA- vagy TCP/IP-kapcsolatokat használ.
- Offline kapcsolatok esetén az adatszolgáltató beolvassa és megírja a rekordokat egy helyi bináris fájlban.
- SNA- és TCP/IP-kapcsolatokkal az adatszolgáltató a távoli z/OS (IBM Z Series Mainframe) adatkészletekben vagy távoli i5/OS -ben (IBM AS/400 és iSeries rendszerek) tárolt rekordokat olvassa és írja le. Csak az i5/OS rendszerek használják a TCP/IP protokollt.
- Az Azure-szolgáltatások környezeteket, eszközöket és folyamatokat biztosítanak az új alkalmazások nyilvános felhőben való fejlesztéséhez és skálázására.
Forgatókönyv részletei
Az olyan modern adattárolási megoldások, mint az Azure-adatplatform, jobb méretezhetőséget és teljesítményt biztosítanak, mint a nagyszámítógépek és a középső rendszerek. A rendszerek modernizálásával kihasználhatja ezeket az előnyöket. A technológia, az infrastruktúra és a gyakorlatok frissítése azonban összetett. A folyamat magában foglalja az üzleti és mérnöki tevékenységek teljes körű vizsgálatát. Az adatkezelés az egyik szempont a rendszerek modernizálása során. Meg kell vizsgálnia az adatvizualizációt és az integrációt is.
A sikeres modernizációk az első adatstratégiát használják. Ha ezt a megközelítést használja, az új rendszer helyett az adatokra összpontosít. Az adatkezelés már nem csak egy elem a modernizálási ellenőrzőlistán. Ehelyett az adatok a középpontok. Az összehangolt, minőségorientált adatmegoldások a töredezett, rosszul szabályozott megoldásokat váltják fel.
Ez a megoldás az Azure adatplatform-összetevőit használja az adatelső megközelítésben. A megoldás a következőket foglalja magában:
- Objektumkonvertálás. Objektumdefiníciók konvertálása a forrásadattárból a céladattár megfelelő objektumaiká.
- Adatbetöltés. Csatlakozás a forrásadattárba, és kinyeri az adatokat.
- Adatátalakítás. A kinyert adatok átalakítása megfelelő céladattár-struktúrákká.
- Adattárolás. Adatok betöltése a forrásadattárból a céladattárba kezdetben és folyamatosan.
Lehetséges használati esetek
A nagyszámítógépet és középkategóriás rendszereket használó szervezetek kihasználhatják ezt a megoldást, különösen akkor, ha el szeretnék érni ezeket a célokat:
- A kritikus fontosságú számítási feladatok modernizálása.
- Üzleti intelligencia beszerzése a műveletek javítása és a versenyelőny megszerzése érdekében.
- Távolítsa el a nagyszámítógépekhez és a középkategóriás adattárakhoz kapcsolódó magas költségeket és merevséget.
Considerations
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amelyek a számítási feladatok minőségének javítása érdekében használható vezérelvek. További információ: Microsoft Azure Well-Architected Framework. Ha a Gazdagépfájlok adatszolgáltatója ügyfélprogramot használja az adatok konvertálásához, kapcsolja be a kapcsolatkészletezést a kapcsolat indítási idejének csökkentése érdekében. Amikor a Data Factoryt használja az adatok kinyerésére, hangolja a másolási tevékenység teljesítményét.
Biztonság
A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.
- Vegye figyelembe a helyszíni ügyfélidentitások és az Azure-beli ügyfélidentitások közötti különbségeket. A különbségeket kompenzálnia kell.
- Felügyelt identitások használata összetevők között végzett adatfolyamokhoz.
- Ha adatszolgáltatót használ a gazdagépfájlokhoz az adatok konvertálásához, kövesse a gazdagépfájlok biztonságára és védelmére vonatkozó adatszolgáltatókra vonatkozó javaslatokat.
Költségoptimalizálás
A költségoptimalizálás a szükségtelen kiadások csökkentéséről és a működési hatékonyság javításáról szól. További információ: A költségoptimalizálási pillér áttekintése.
- Az SQL Server Migration Assistant egy ingyenes, támogatott eszköz, amely leegyszerűsíti az adatbázis-migrálást a Db2-ről az SQL Serverre, az SQL Database-be és a felügyelt SQL-példányra. Az SQL Server Migration Assistant automatizálja a migrálás minden aspektusát, beleértve a migrálási felmérés elemzését, a séma- és SQL-utasítások konvertálását, valamint az adatmigrálást.
- Az Azure Synapse Spark-alapú megoldás nyílt forráskódú kódtárakból készült. Kiküszöböli a licencátalakítási eszközök pénzügyi terheit.
- A megoldás implementálási költségeinek becsléséhez használja az Azure díjszabási kalkulátorát .
Teljesítmény hatékonysága
A teljesítménybeli hatékonyság lehetővé teszi, hogy a számítási feladatok hatékonyan méretezhetők legyenek a felhasználók igényei szerint. További információkért tekintse meg a teljesítményhatékonysági pillér áttekintését.
- A teljesítményhatékonyság fő pillérei a teljesítménykezelés, a kapacitástervezés, a méretezhetőség és a megfelelő teljesítményminta kiválasztása.
- A saját üzemeltetésű integrációs modult úgy skálázhatja fel, hogy a logikai példányt több helyszíni géphez társítja aktív-aktív módban.
- Az Azure SQL Database lehetővé teszi az adatbázisok dinamikus méretezését. Kiszolgáló nélküli szinten automatikusan skálázhatja a számítási erőforrásokat. A rugalmas készlet, amely lehetővé teszi az adatbázisok számára, hogy erőforrásokat osszanak meg egy készletben, csak manuálisan skálázhatók.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Ashish Khandelwal | Főmérnöki vezető
Egyéb közreműködők:
- Mick Alberts | Műszaki író
- Nithish Aruldoss | Mérnökmérnök
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.
További lépések
Tekintse át az Azure Database migrálási útmutatóinak áttekintését. További információért lépjen kapcsolatba az Azure adatmérnök ing – Mainframe &Midrange Modernization szolgáltatással.
Lásd az alábbi cikkeket:
- IBM-számítási feladatok az Azure-ban
- Nagyszámítógépek áthelyezése Azure-beli virtuális gépeken
- Az Azure-ban támogatott nagyszámítógépes számítási feladatok
- Nagyszámítógépes számítás áthelyezése az Azure-ba