Az önkiszolgáló adatplatformok tervezési szempontjai

Az adatháló izgalmas új megközelítés az adatarchitektúra tervezéséhez és fejlesztéséhez. A hagyományos adatarchitektúrától eltérően az adatháló elkülöníti a felelősséget az adattermékek létrehozására összpontosító funkcionális adattartományok és a technikai képességekre összpontosító platformcsapat között. A felelősségek elkülönítésének tükröződnie kell a platformon. Egyensúlyt kell teremtenie a tartomány-agnosztikus képességek biztosítása és a tartományi csapatok számára az adatok modellezésének, feldolgozásának és terjesztésének engedélyezése között a szervezeten belül.

Nem könnyű kiválasztani a megfelelő szintű tartományrészletet és szabályokat a platformok használatával való leválasztáshoz. Ez a cikk számos forgatókönyvet tartalmaz, amelyek részletes útmutatást nyújtanak.

Felhőméretű elemzések

Ha adathálót szeretne létrehozni az Azure-ral, javasoljuk, hogy alkalmazza a felhőalapú elemzéseket. Ez a keretrendszer egy telepíthető referenciaarchitektúra, amely nyílt forráskódú sablonokkal és ajánlott eljárásokkal rendelkezik. A felhőalapú elemzési architektúra két fő építőelemével rendelkezik, amelyek alapvető fontosságúak az összes üzembe helyezési lehetőséghez:

• Adatkezelési célzóna: Az adatarchitektúra alapja. Az adatkezeléshez szükséges összes kritikus képességet tartalmazza, például az adatkatalógust, az adatsorrendet, az API-katalógust, a fő adatkezelést stb.
• Adat-kezdőzónák: Az elemzéseket és AI-megoldásokat üzemeltető előfizetések. Ezek közé tartoznak az elemzési platform üzemeltetéséhez szükséges főbb képességek.

Az alábbi ábra áttekintést nyújt egy felhőalapú elemzési platformról, amely egy adatkezelési célzónával és egyetlen adat-célzónával rendelkezik. Nem minden Azure-szolgáltatás jelenik meg a diagramon. Egyszerűbb volt kiemelni az alapvető fogalmakat az erőforrás-szervezet ezen az architektúrán belül.

A felhőalapú elemzési keretrendszer nem határozza meg, hogy pontosan milyen típusú adatarchitektúrát kell létrehoznia. Számos gyakori felhőalapú elemzési megoldáshoz használhatja, beleértve a (nagyvállalati) adattárházakat, adattavakat, data lake-házakat és adathálókat. A cikkben szereplő összes példamegoldás adathálós architektúrát használ.

Ismerje meg, hogy az összes architektúra betartja az adatháló alapelveit: a tartomány tulajdonjogát, az adatokat termékként, az önkiszolgáló adatplatformot és az összevont számítási szabályozást. A különböző elérési utak mind adathálóhoz vezethetnek. Nincs egyetlen jó vagy rossz válasz. A szervezet igényeinek megfelelő kompromisszumot kell hoznia.

Önálló adat-kezdőzóna

Az adathálós architektúra létrehozásának legegyszerűbb üzembehelyezési mintája egy adatkezelési célzóna és egy adat-kezdőzóna. Az ilyen forgatókönyv adatarchitektúrája az alábbihoz hasonlóan nézne ki:

Ebben a modellben az összes funkcionális adattartomány ugyanazt az adat-kezdőzónát használja. Egyetlen előfizetés szabványos szolgáltatáskészletet tartalmaz. Az erőforráscsoportok elkülönítik a különböző adattartományokat és adattermékeket. A standard adatszolgáltatások, például az Azure Data Lake Store, az Azure Logic Apps és az Azure Synapse Analytics minden tartományra érvényesek.

Minden adattartomány az adatháló alapelveit követi: az adatok a tartomány tulajdonjogát követik, az adatokat pedig termékekként kezelik. A platform teljes mértékben önkiszolgáló, bár a szolgáltatásoknak korlátozott változatai vannak. Minden tartománynak szigorúan meg kell felelnie az adatkezelési alapelveknek, és meg kell felelnie azoknak.

Ez az üzembe helyezési lehetőség olyan kisebb vállalatok vagy zöldmezős projektek számára lehet hasznos, amelyek az adathálót szeretnék használni, de nem túlbonyolítják a dolgokat. Ez az üzembe helyezés egy olyan szervezet kiindulópontja is lehet, amely összetettebb konstrukciót tervez létrehozni. Ebben az esetben tervezze meg, hogy később több célzónává bővül.

A forrásrendszerhez igazított és fogyasztóhoz igazított kezdőzónák

Az előző modellben nem vettünk figyelembe más előfizetéseket vagy helyszíni alkalmazásokat. Az előző modellt némileg módosíthatja úgy, hogy hozzáad egy forrásrendszerhez igazított kezdőzónát az összes bejövő adat kezeléséhez. Az adatok előkészítése nehéz folyamat, ezért hasznos két adat-kezdőzónát létrehozni. Az előkészítés továbbra is az adatok nagy méretű használatának egyik legnagyobb kihívást jelentő része. Az előkészítéshez gyakran szükség van további eszközökre az integráció kezeléséhez, mivel a kihívások eltérnek az integrációétól. Segít különbséget tenni az adatok megadása és az adatok felhasználása között.

A diagram bal oldali architektúrájában a szolgáltatások megkönnyítik az összes adat előkészítését, például a CDC-t, az API-k lekérésére szolgáló szolgáltatásokat, vagy az adathalmazok dinamikus felépítéséhez szükséges data lake-szolgáltatásokat. A platform szolgáltatásai adatokat tudnak lekérni helyszíni, felhőbeli környezetekből vagy SaaS-szállítókból. Ez a platformtípus általában nagyobb többletterheléssel is jár, mivel az alapul szolgáló üzemeltetési alkalmazásokkal több kapcsolat áll fenn. Érdemes lehet ezt az adathasználattól eltérően kezelni.

A diagram jobb oldalán található architektúrában a szervezet a fogyasztásra optimalizál, és a szolgáltatások az adatok értékké alakítására összpontosítanak. Ezek a szolgáltatások magukban foglalhatják a gépi tanulást, a jelentéskészítést és így tovább.

Ezek az architektúratartományok az adatháló minden alapelvét követik. A tartományok átveszik az adatok tulajdonjogát, és közvetlenül terjeszthetnek adatokat más tartományokba.

Központi, általános és speciális adat-kezdőzónák

A következő üzembe helyezési lehetőség az előző terv egy másik iterációja. Ez az üzembe helyezés egy szabályozott hálós topológiát követ: az adatok egy központi központon keresztül lesznek elosztva, amelyben az adatok tartományonként particionálva, logikailag izolálva és nem integrálva lesznek. A modell központja saját (tartomány-agnosztikus) adat-kezdőzónát használ, és egy központi adatszabályozási csapat tulajdonában lehet, amely felügyeli, hogy mely adatok vannak elosztva más tartományokban. A központ olyan szolgáltatásokat is biztosít, amelyek megkönnyítik az adatok előkészítését.

Az olyan tartományok esetében, amelyek általános szolgáltatásokat igényelnek az új adatok használatához, használatához, elemzéséhez és létrehozásához, általános adat-kezdőzónát használnak. Ez az egyetlen előfizetés szabványos szolgáltatáskészletet tartalmaz. Adatvirtualizálást is alkalmazhat, mivel a legtöbb adattermék már megmarad a központban, és nincs szükség további adatkettőzésre.

Ez az üzembe helyezés lehetővé teszi a "speciális": extra kezdőzónákat, amelyeket akkor lehet kiépíteni, ha nem lehet logikailag csoportosítani a tartományokat. Szükség lehet rájuk regionális vagy jogi határok alkalmazásakor, vagy ha a tartományok egyedi és ellentétes követelményeket támasztanak. Szükség lehet rájuk olyan helyzetekben is, amikor a tengerentúli tevékenységekre vonatkozó kivételekkel erős globális leányvállalatirányítást alkalmaznak.

Ha a szervezetnek szabályoznia kell, hogy mely adatok melyik tartomány által lesznek elosztva és felhasználva, akkor a központi telepítés jó választás. Ez akkor is lehetőség, ha a nagy adatfogyasztók idővariáns és nem változékony problémáival foglalkozik. Erősen szabványosíthatja az adattermék-kialakítást, amely lehetővé teszi a tartományok számára az időutazást és a redeliveries végrehajtását. Ez a modell különösen gyakori a pénzügyi iparágban.

Funkcionális és regionálisan igazított adat-kezdőzónák

Több adat-kezdőzóna kiépítése segíthet a funkcionális tartományok csoportosításában a kohézió és az adatok megosztásának hatékonysága és kohéziója alapján. Az összes adat-célzóna ugyanazokat a naplózási és vezérlőket követi, de a különböző adat-kezdőzónák között továbbra is rugalmasságot és kialakítási változásokat végezhet.

Határozza meg azokat a funkcionális adattartományokat, amelyeket logikailag össze szeretne csoportosítani egy megosztott adat-kezdőzónához. Ha például regionális határokkal rendelkezik, ugyanezeket a sablonokat implementálhatja. A tulajdonjog, a biztonság vagy a jogi határok kényszeríthetik a tartományok elkülönítésére. A rugalmasság, a változás üteme, valamint a képességek elkülönítése vagy értékesítése szintén fontos tényezők.

További útmutatás és ajánlott eljárások az adattartományokban találhatók.

A különböző célzónák nem különállóak. Más zónákban üzemeltetett adattavakhoz csatlakozhatnak. Ez lehetővé teszi, hogy a tartományok együttműködjenek a vállalaton belül. Többplatformos adatmegőrzést is alkalmazhat a különböző adattártechnológiák keveréséhez. A többplatformos adatmegőrzés lehetővé teszi, hogy a tartományok közvetlenül más tartományokból származó adatokat olvassanak az adatok duplikálása nélkül.

Több adat-célzóna üzembe helyezésekor tudja, hogy az egyes adat-kezdőzónákhoz felügyeleti többletterhelés tartozik. VNet-társviszonyt kell alkalmaznia az összes adat-célzóna között, további privát végpontokat kell kezelnie stb.

Ha az adatarchitektúra nagy, több adat-célzóna üzembe helyezése jó megoldás. További célzónákat is hozzáadhat az architektúrához a különböző tartományok gyakori igényeinek kielégítése érdekében. Ezek a további célzónák virtuális hálózati társviszony-létesítéssel csatlakoznak mind az adatkezelési célzónához, mind az összes többi célzónához. A társviszony-létesítéssel adatkészleteket és erőforrásokat oszthat meg a kezdőzónák között. Az adatok külön zónákra való felosztásával a számítási feladatokat eloszthatja az Azure-előfizetésekben és -erőforrásokban. Ez a megközelítés segít az adatháló szerves megvalósításában.

Különböző adatkezelési zónákat igénylő nagyvállalat

A globális szinten működő nagyvállalatok eltérő adatkezelési követelményekkel rendelkezhetnek a szervezet különböző részei között. A probléma megoldásához több adatkezelési és adat-kezdőzónát is üzembe helyezhet együtt. Az alábbi ábrán egy ilyen típusú architektúra látható:

Több adatkezelési kezdőzónának kell indokolnia a többletterhelést és az integráció összetettségét. Előfordulhat például, hogy egy másik adatkezelési célzóna olyan helyzetekben is hasznos lehet, amikor a szervezet (meta)adatait a szervezeten kívül senki nem láthatja.

Összegzés

Az adathálóra való áttérés kulturális eltolódás, amely árnyalásokat, kompromisszumokat és szempontokat is magában foglal. A felhőalapú elemzések használatával beolvashatja az ajánlott eljárásokat és a végrehajtható erőforrásokat. A cikk referenciaarchitektúrái kiindulópontokat kínálnak a megvalósítás elindításához.

Következő lépés

• Adatpiac