A bankok ma hatalmas mennyiségű értékes információ védelméért és tárolásáért vállalnak felelősséget a tűzfalaikon belül. Ezek az információk mind az ügyfeleikről, mind a változó pénzügyi helyzetről szólnak. Sok esetben ezek az információk nem lesznek használva, mert nem könnyen hozzáférhetők vagy kereshetők, annak ellenére, hogy az adatok felhasználása javíthatja a döntéshozatalt több banki tevékenység során.
Ezekkel az adatokkal a bankok gyorsabban találnak információt arról, hogy ki fenyegeti a hiteltörlesztés kockázatát. A bankok dönthetnek arról is, hogy milyen piaci portfólióértékelési kiigazításokra van szükség. A bankok egyértelműbb képet kaphatnak arról is, hogyan tárolják és kezelik adataikat a jogszabályi követelményeknek megfelelően. Így az adatok a megfelelőség érdekében felhasználhatók, megőrizhetők, archiválhatók vagy törölhetők.
A mindennapi banki funkciók követelményeinek való megfeleléshez több ezer döntésre van szükség, amelyek nagyok és kicsik. Ennek eredményeképpen az adatok egyre fontosabbá válnak. Nemcsak ezt, hanem a bankok szigorú szabályozási követelményeket és pénzügyi bűnözési kötelezettségeket is kapnak. Szükségük van arra, hogy minden adatelemzési folyamat eredményeit naplózzák, egészen az adattárba érkező kezdeti információkig. A nyomon követhetőség átláthatóságot igényel a betöltéstől a végrehajtható adatok előállításáig.
A bankok által kiszolgált számos számla vagy vállalkozás kezeléséhez gyorsan és költséghatékonyan kell értelmezniük ezeket az adatokat. Ahogy a bankok digitálisan fejlődnek, az adatok mennyisége és az adatok alkalmazásának új lehetőségei exponenciálisan nőnek. Ez a növekedés lehetővé teszi a bankok számára, hogy új üzleti modelleket és ügyfélközpontú lehetőségeket folytassanak.
A megfelelő adattárolási stratégia kialakítása kulcsfontosságú a működési hatékonyság, a jó alkalmazásteljesítmény és a jogszabályi megfelelőség szempontjából. Az adattárolási stratégia egyben a kezdeti lynchpin az adatok formátumba való beolvasásában, ahol üzleti intelligenciához és végrehajtható elemzésekhez használhatók.
Az adatkezelés általános mintája a következő:
Ebben a modellben a "Data Services" az adatok átalakítását, összekapcsolását vagy az archiváláson kívüli egyéb adatműveleteket írja le. Ez az a kulcsfontosságú tevékenység, amely ahhoz szükséges, hogy az adatok segítségével megalapozottabb döntéseket hozhassunk.
Minden bank és pénzügyi intézmény betölti, áthelyezi és tárolja az adatokat. Ez a cikk az adatok Azure-ba való eljuttatására összpontosít. A megoldás segít elmozdulni a hagyományos helyszíni adattárolástól, feldolgozástól, archiválástól és törléstől. Az adatok Azure-ba való áthelyezésével a bankok és a pénzügyi intézmények kihasználhatják az alapvető előnyöket, például:
Költséghatékonyság gyakorlatilag korlátlan globális méretben, számítási erőforrások és adatkapacitás használatával, csak akkor és ott, ahol szükség van rá.
A tőkekiadások és a kezelési költségek csökkentése a helyszíni fizikai kiszolgálók kivonásával.
Integrált biztonsági mentés és vészhelyreállítás, csökkentve az adatvédelem költségeit és összetettségét.
A ritka elérésű adatok automatikus archiválása alacsony költségű tárolásra, ugyanakkor a megfelelőségi igények kielégítése.
Hozzáférés a fejlett és integrált adatszolgáltatásokhoz, hogy tanulási, előrejelzési, átalakítási vagy egyéb igények szerint dolgozza fel az adatokat.
Ez a cikk ajánlott technikákat biztosít az Azure-ba irányuló hatékony adatforgalom biztosításához, valamint alapvető adatkezelési technikákat, hogy a felhőben való használatuk után is használhatók legyenek.
Adatbetöltés
A pénzügyi intézmények olyan adatokkal fognak rendelkezni, amelyeket már összegyűjtöttek, és amelyeket a jelenlegi alkalmazások használnak. Ezeket az adatokat többféleképpen is áthelyezhet az Azure-ba. A meglévő alkalmazások sok esetben úgy tudnak csatlakozni az Azure-beli adatokhoz, mintha helyszíniek lennének, és minimális módosításokat hajtanak végre a meglévő alkalmazásokon. Ez a folyamat különösen igaz a Microsoft Azure SQL Database használatakor, de a Azure Marketplace megoldások az Oracle, a Teradata, a MongoDB és mások számára is megtalálhatók.
Különböző adatmigrálási stratégiák léteznek az adatok helyszíni környezetből az Azure-ba való áthelyezéséhez, és különböző mértékű késéssel rendelkeznek. Az alábbi módszerek mindegyike biztosítja az adatok átláthatóságát és a megbízható biztonságot.
Virtual Network (VNet) szolgáltatásvégpontok
A biztonság elsődleges szempont az ügyfelek pénzügyi adatainak kezelésekor. Az erőforrások (például egy adatbázis) Azure-on belüli védelme gyakran attól függ, hogy beállít egy hálózati infrastruktúrát az Azure-ban, majd egy adott végponton keresztül éri el a hálózatot.
Mielőtt adatokat továbbítana az Azure-ba, érdemes megfontolni az Azure-erőforrások és a helyszíni kapcsolat védelmét biztosító hálózati topológiát. Virtual Network szolgáltatásvégpontok biztonságos közvetlen kapcsolatot biztosítanak egy Azure-beli definiált virtuális hálózattal.
A virtuális hálózatok úgy vannak definiálva az Azure-ban, hogy egy határolt virtuális hálózaton belüli Azure-erőforrásokat tartalmazzanak. A virtuális hálózat végpontja ezután biztonságos hozzáférést biztosít a kritikus Azure-szolgáltatás erőforrásaihoz, és csak a meghatározott virtuális hálózaton lévőkhöz.
Adatbázis átemelése
Az adatbázis-migrálás "átemelési" modellje az Azure SQL Database használatának egyik leggyakoribb forgatókönyve. Az átemelés egyszerűen azt jelenti, hogy a meglévő helyszíni adatbázisokat közvetlenül a felhőbe helyezi át. Ennek okai a következők:
- Váltás egy olyan aktuális adatközpontból, ahol az árak magasabbak, vagy valamilyen más működési ok
- A jelenlegi helyszíni SQL Server adatbázis hardvere lejár vagy hamarosan lejár
- A vállalat általános "áttérés a felhőbe" stratégiájának támogatása
- A SQL Azure rendelkezésre állási és vészhelyreállítási képességeinek kihasználása
Kisebb adatbázisok esetén az adatbetöltés első lépése általában az Azure Portalon, az Azure CLI-n vagy az Azure SDK-n keresztül szükséges adattárak és struktúrák (például táblák) létrehozása. Ezekben a kisebb adattárakban a következő lépéseket egy egyéni alkalmazás hajthatja végre, amely a megfelelő azure-beli adattárba másolja a megfelelő adatokat. Általában a nagyobb adatmigrálások leggyorsabb módja a biztonsági másolatok visszaállítása az Azure-ban.
Az adatok biztonságos és gyors átvitelének számos módja van az Azure-ba. Ebből a cikkből megtudhatja, hogy milyen szabványos technikákkal rendelkezik az egyes technikák előnyei és hátrányai.
Azure Database Migration Service
SQL Server adatbázisok emelésekor és áthelyezésekor a Microsoft Azure Database Migration Service segítségével áthelyezhetők az adatbázisok az Azure-ba. A szolgáltatás a Data Migration Assistant használja annak biztosítására, hogy a helyszíni adatbázis kompatibilis legyen a Azure SQL által kínált szolgáltatásokkal. Az adatbázis migrálása előtt szükséges módosítások önre várnak. Emellett a szolgáltatás használatához helyek közötti internetkapcsolatra van szükség a helyszíni hálózat és az Azure között.
Tömeges másolási program (BCP) SQL Server
Ha SQL Server jelenleg a helyszínen van, és a cél az SQL Azure-re való áttérés, egy másik nagyszerű módszer az SQL Server Management Studio és a BCP segédprogram használata az adatok SQL Azure való áthelyezéséhez. Miután szkriptelt és létrehozott Azure SQL adatbázisokat az eredeti helyszíni kiszolgálóról, a BCP segítségével gyorsan átviheti az adatokat Azure SQL.
Azure Blob és File Storage
Az egyes bankfiókok gyakran rendelkeznek saját fájltárolókkal a helyi helyszíni kiszolgálókon. Ez problémákat okozhat az ágak közötti fájlmegosztás során, és azt eredményezheti, hogy egy adott fájlnak nincs egyetlen igazságforrása. Még rosszabb, hogy az intézmény rendelkezhet egy "hivatalos" fájltárolóval, amely elágaztatja a hozzáférést, de időszakos kapcsolattal vagy a fájlmegosztás elérésével kapcsolatos egyéb problémákat tapasztal.
Az Azure olyan szolgáltatásokkal rendelkezik, amelyek segítenek elhárítani ezeket a problémákat. Az adatok Azure-ba való áthelyezése egyetlen igazságforrást biztosít az összes adathoz és az univerzálisan elérhető tárolóhoz, központosított engedélyekkel és hozzáférés-vezérléssel.
A különböző adattárolási megoldások adott adatformátumokhoz megfelelőbbek lehetnek. A helyszínen tárolt adatok például SQL Server ideálisak Azure SQL. A .csv vagy Excel fájlokban tárolt adatok valószínűleg az Azure Blob Storage- vagy Azure Files-tárolókhoz ideálisak, amelyek a Blob szolgáltatáson alapulnak.
Az Azure-ban és onnan kifelé áramló adatok szinte mindegyike a Blob Storage-on halad át az adatok mozgásának részeként. A Blob Storage a következő pillérekkel rendelkezik.
- Tartósan & elérhető
- Biztonságos & megfelelőség
- & Kezelhető költséghatékonyság
- Skálázható & teljesítmény
- Interoperable megnyitása &
Az összes fiók ugyanahhoz a fájlmegosztáshoz való csatlakoztatása az Azure-ban gyakran a bank meglévő adatközpontján keresztül történik, az 1. ábrán látható módon. A vállalati adatközpont SMB-kapcsolaton (Server Message Block) keresztül csatlakozik a Files-tárolóhoz. Logikailag és a helyhálózat szempontjából a fájlmegosztás a vállalati adatközpontban is lehet, és bármely más hálózati fájlmegosztásként csatlakoztatható. Ha ezt a technikát használja, az adatok titkosítva lesznek inaktív állapotban, valamint az adatközpont és az Azure közötti átvitel során.
1. ábra
A vállalatok gyakran használják a Files Storage-ot nagy mennyiségű fájl összevonására és védelmére. Ez lehetővé teszi a régi fájlkiszolgálók kivonását vagy a hardver újbóli használatát. A Files Storage-ba való áthelyezés másik előnye az adatkezelési és helyreállítási szolgáltatások központosítása.
Azure Data Box
A bankok gyakran több terabájtnyi, ha nem petabájtnyi információval rendelkeznek, amelyeket az Azure-ba kell bevinni. Szerencsére az Azure-beli adattárak nagyon rugalmasak és nagy mértékben méretezhetők.
A nagyon nagy mennyiségű adat Azure-ba való migrálására összpontosító szolgáltatás az Azure Data Box. Ez a szolgáltatás úgy lett kialakítva, hogy az adatokat anélkül migrálja, hogy adatokat vagy biztonsági másolatokat továbbítanának egy Azure-kapcsolaton keresztül. Az Azure Data Box egy több terabájtnyi adat tárolására alkalmas berendezés, amely a Azure Portal rendelhető. A rendszer az Ön helyére szállítja, ahol csatlakoztathatja a hálózathoz, és a szabványos NAS-protokollok használatával betöltheti az adatokat, és standard256-AES titkosítással védheti. Miután az adatok a berendezésen vannak, azokat visszaszállítjuk az Azure-adatközpontba, ahol az adatok hidratálva vannak az Azure-ban. Az eszköz ezután biztonságosan törlődik.
Azure Information Protection
Az Azure Information Protection (AIP) egy felhőalapú megoldás, amely segít a szervezeteknek a dokumentumok és e-mailek besorolásában, címkézésében és védelmében. A folyamat a rendszergazdák által meghatározott szabályokkal és feltételekkel automatizálható, a felhasználók által manuálisan szabályozható, vagy a két módszer kombinációjával, a felhasználóknak adott ajánlásokkal is kezelhető.
Adatszolgáltatások
A bankok a Master adatkezelés, a különböző alapvető bankrendszerek miatt ütköző metaadatokkal, valamint a kiindulási rendszerekből, előkészítési rendszerekből, felügyeleti rendszerekből, CRM-rendszerekből és egyebekből származó adatokkal küzdenek. Az Azure olyan eszközökkel rendelkezik, amelyekkel elháríthatja ezeket és más gyakran előforduló adatproblémákat.
A pénzügyi szervezeteknek számos művelet végrehajtására van szükségük az adataikon. Amikor adatokat ír az Azure-adattárakba, előfordulhat, hogy át kell alakítania az adatokat, vagy más olyan adatokkal kell összekapcsolnia őket, amelyek kibővítik a betöltött adatokat.
Azure Data Factory
Microsoft Azure Data Factory egy teljes körűen felügyelt szolgáltatás, amely segít a Data Factory-folyamatokban történő adatáthelyezések bemenő, feldolgozási és monitorozási folyamataiban. A Data Factory-tevékenységek alkotják az adatkezelési folyamat struktúráját.
A Data Factory lehetővé teszi az adatok átalakítását vagy bővítését az Azure-ba és más Azure-szolgáltatásokba áramló adatok között. A Data Factory egy felügyelt felhőszolgáltatás, amely összetett hibrid extract-transform-load (ETL), extract-load-transform (ELT) és adatintegrációs projektekhez készült.
Az adatok például betáplálhatók elemzési folyamatokba vagy olyan eszközökbe, amelyek gyakorlatban hasznosítható elemzéseket eredményeznek. Az adatok átfolyhatnak egy gépi tanulási megoldásba, vagy átalakíthatók egy másik formátumra későbbi feldolgozás céljából. Ilyen például .csv fájlok átalakítása parquet-fájlokká, amelyek jobban megfelelnek a gépi tanulási rendszereknek, és ezeket a parquet-fájlokat a Blog Storage-ban tárolja.
Az adatok továbbíthatók alsóbb rétegbeli számítási szolgáltatásoknak is, például az Azure HDInsightnak, a Sparknak, a Azure Data Lake Analytics és a Azure Machine Learning. Ez lehetővé teszi a közvetlenül tápláló rendszereket, amelyek elemzést és intelligens jelentéskészítést eredményeznek. Az adatforgalom egyik gyakori modellje az alábbi 2. ábrán látható. Az adatok egy közös Data Lake-ben tárolódnak, amelyet az alsóbb rétegbeli elemzési szolgáltatások használnak.
2. ábra
A Data Factory-folyamatok olyan tevékenységekből állnak, amelyek adathalmazokat fogadnak és írnak ki. A tevékenységek összeállíthatók egy folyamatba, amely meghatározza, hogy hol szeretné lekérni az adatokat, hogyan szeretné feldolgozni őket, és hol szeretné tárolni az eredményeket. A data factory lényege, hogy tevékenységeket tartalmazó folyamatokat hoz létre, és vizuális munkafolyamatokat hoz létre közvetlenül a Azure Portal megkönnyíti a folyamatok létrehozását. A tevékenységek teljes listáját itt találja .
Azure Databricks
Az Azure Databricks egy felügyelt Apache Spark-alapú elemzési platform az Azure-ban. Nagy mértékben skálázható, és a Spark-feladatok a szükségesnél nagyobb gépfürtökön futnak. A Databricks egy jegyzetfüzetből működik, amely egyetlen együttműködési lehetőséget biztosít az adattudósok, az adatmérnökök és az üzleti elemzők között.
A Databricks egy logikai feldolgozási folyamat, ha adatátalakításra vagy -elemzésre van szükség. Közvetlenül a Data Factory táplálhatja olyan gépi tanulási forgatókönyvekhez, ahol az elemzési idő kritikus, vagy egyszerű fájlátalakításokhoz.
Adatok archiválása
Ha az adatokra már nincs szükség egy aktív adattárban, azok megfelelőségi vagy auditnapló-célból archiválhatók az állami és helyi banki előírásoknak megfelelően. Az Azure-ban rendelkezésre állnak a ritkán használt adatok tárolására szolgáló lehetőségek. Gyakran merülnek fel adatvédelmi problémák az olyan adatokkal kapcsolatban, amelyek megkövetelik, hogy az adatok évekig tárolódnak.
Az adatok tárolásának költségei magasak lehetnek, különösen a helyszíni adatbázisokban való tárolás esetén. Ezekhez az adatbázisokhoz néha ritkán férnek hozzá, és csak azért, hogy új archivált adatokat írjanak, vagy megszabadítják az archívumban már nem kívánt adatok adatbázisát. A helyszíni gépekhez való ritkán használt hozzáférés a hardver teljes bekerülési költségét jelenti.
Azure Archive Storage
Strukturálatlan adatok, például fájlok vagy rendszerképek esetén az Azure számos tárolási szintet kínál a Blob Storage számára, beleértve a gyakori elérésű, a ritka elérésű és az archív tárolási szintet is. A gyakori elérésű hozzáférési szint olyan adatokhoz készült, amelyek aktívak, és várhatóan a legnagyobb teljesítményűek, és az alkalmazásokban használják. A ritka elérésű hozzáférési szint rövid távú biztonsági mentési és vészhelyreállítási adathalmazokhoz, valamint az alkalmazások számára elérhető, de ritkán használt adatokhoz használható. Az archív szint a legalacsonyabb költséggel rendelkezik, és offline állapotú adatokhoz készült.
Az archív réteg adatai rehidratálhatók a ritka elérésű vagy gyakori elérésű szintekre, de ez a művelet több órát is igénybe vehet. Az archív tárolás akkor lehet megfelelő, ha az adatok legalább 180 napig nem lesznek elérhetők. Ha egy blob archív tárolóban van, nem olvasható, de más meglévő műveletek is végrehajthatók, például a metaadatok listázása, törlése és lekérése. Az archív adatszint a blobtároló legkevésbé költséges adatrétege.
hosszú távú megőrzés Azure SQL Database
A Azure SQL használata esetén a biztonsági másolatok akár tíz évig tartó hosszú távú megőrzési szolgáltatással is rendelkezik. A felhasználók úgy ütemezhetik a biztonsági másolatok hosszú távú tárolását, hogy a biztonsági másolat hetekig, hónapokig vagy akár évekig is megmaradjon.
Ha egy adatbázist hosszú távú tárolóból szeretne visszaállítani, válasszon ki egy adott biztonsági mentést az időbélyege alapján. Az adatbázis visszaállítható egy meglévő kiszolgálóra az eredeti adatbázissal azonos előfizetés alatt.
Nem kívánt adatok törlése
Ahhoz, hogy megfeleljen az adatmegőrzésre vonatkozó banki előírásoknak vagy szabályzatoknak, az adatokat gyakran törölni kell, amikor már nincs rá szükség. A nem kívánt adatokra vonatkozó technikai megoldás implementálása előtt fontos, hogy legyen egy végleges törlési terv, hogy a szabályzatokban elfogadottak ne sérüljenek. Az adatok bármikor törölhetők az archívumból vagy az Azure bármely más adattárából.
A nem kívánt adatok törlésének hatékony stratégiája, hogy ezt rendszeres időközönként, éjszakánként vagy hetente végezze el. Egy idő által aktivált Azure-függvény írható a feladat jól való végrehajtásához. Ha töröl adatokat, Microsoft Azure törli az adatokat, beleértve a gyorsítótárazott vagy biztonsági másolatokat is.
Első lépések
A jelenleg használt adatmodellek aktuális használata és fejlettsége alapján számos módon kezdheti meg az első lépéseket. Minden esetben tökéletes alkalom az adattárakhoz szükséges adattárolási, feldolgozási és adatmegőrzési modell áttekintésére. Ez a lépés kritikus fontosságú az adatkezelési rendszerek jogszabályi megfelelőségi forgatókönyvekben történő kiépítésében. A felhő új lehetőségeket kínál, amelyek jelenleg nem érhetők el a helyszínen. Ez a meglévő adatmodellek frissítését jelentheti.
Ha már ismeri az új adatmodellt, határozza meg az adatbetöltési stratégiát. Milyen adatforrások léteznek? Hol fognak élni az adatok az Azure-ban? Hogyan és mikor kerül át az Azure-ba? Itt számos forrás áll rendelkezésre a tartalomtípus, a méret és egyebek alapján történő migráláshoz. Ilyen például az Azure Data Migration Service.
Miután az adatok az Azure-ban vannak tárolva, hozzon létre egy adatürítési tervet olyan adatokhoz, amelyek hasznossága vagy élettartama kiugróan magas volt. Bár a hosszú távú (hideg) tárolás mindig nagyszerű megoldás az archiválásra, a lejárt adatok törlése csökkenti a lábnyomot és az általános tárolási költségeket. A biztonsági mentési és archiválási Azure-megoldásarchitektúrák jó forrásként használhatók az általános stratégia megtervezéséhez.
Összetevők
A következő technológiák relevánsak ehhez a megoldáshoz:
Azure Functions olyan szolgáltatás, amely kiszolgáló nélküli szkripteket és kis programokat használ, amelyek rendszereseményekre vagy időzítőkre reagálva futtathatók.
Az Azure Storage Ügyféleszközök olyan eszközök, amelyek az adattárakhoz való hozzáférést biztosítják, és sokkal többet tartalmaznak, mint a Azure Portal.
A Blob Storage olyan fájlok tárolására alkalmas, mint a szöveg vagy képek, valamint más típusú strukturálatlan adatok.
A Databricks egy teljes körűen felügyelt szolgáltatás, amely egy Spark-fürt egyszerű implementálását kínálja.
A Data Factory egy felhőalapú adatintegrációs szolgáltatás, amellyel adattárolási, átviteli és feldolgozási szolgáltatásokat írhat automatizált adatfolyamatokba
Összegzés
A banki és pénzügyi ágazat digitális környezetének gyors változásával az ügyfelek egyre inkább olyan megoldásokat és partnereket keresnek, amelyeket azonnal, lassú felfutási idő nélkül használhatnak fel. Az adatbetöltés exponenciális növekedésével a bankoknak gyorsan, innovatívan és biztonságosan kell tárolniuk, elemezniük és használniuk fontos adataikat.
Az Azure számos technológia és stratégia használatával segíti az adatok betöltését, feldolgozását, archiválását és törlését. Az adatok Betöltése az Azure-ba egyszerű, és különböző adattárak állnak rendelkezésre az adatok tárolására a típusuktól, szerkezetétől stb. függően. Az adatmegoldások SQL Server és SQL Azure kívül is elérhetők, hogy harmadik féltől származó adatbázisokat is tartalmazzanak.
Az adatok kezelése és kezelése egyszerű lehet az Olyan Azure-szolgáltatások használatával, mint a Databricks és a Data Factory. Az archiválási tár a ritkán használt adatok hosszú távú tárolására érhető el, és szükség szerint gördülő ciklusban törölhető.
Közreműködők
Ezt a cikket a Microsoft folyamatosan frissíti és karbantartja. Eredetileg a következő közreműködők írták.
Fő szerzők:
- Howard Bush | Banki és tőkepiaci felhőbeli & AI, tanácsadási szolgáltatások
- David Starr | Vezető Azure-szoftvermérnök
Következő lépések
Tekintse meg az Azure-megoldástárat a biztonsági mentéshez és az archivált tároláshoz az adatkezelési terv tervezésének első lépéseihez.
Termékdokumentáció:
- Azure Functions
- Azure Storage-ügyféleszközök
- A Blob Storage bemutatása
- Mi az az Azure Databricks?
- Mi az az Azure Data Factory?