Mi az az adatháló?
Az adatháló egy architekturális minta a nagy és összetett szervezetek vállalati adatplatformjainak implementálására. A Data Mesh segítségével az elemzések bevezetése egyetlen platformon és egyetlen implementációs csapaton túl is skálázható.
Háttér
Az elemzési igény nem új. A szervezeteknek mindig is szükségük volt az üzleti teljesítmény elemzésére, és ezt a bevezetésük óta számítógépek használatával tették. Az 1980-at körül a szervezetek olyan adattárház-megoldásokat kezdtek létrehozni, amelyeket kifejezetten döntéstámogatásra szolgáló adatbázisok használatával készítettek. Ezek az adattárház-megoldások hosszú ideig jól szolgálták a szervezeteket.
Az üzleti változások és a változatosabb adatok generálása során azonban előfordulhat, hogy a relációs adatbázisokat használó adattárház-megoldások nem mindig a legjobb megoldás. A 2000-ben a big data általános fogalom lett. A vállalatok olyan új megoldásokat fogadtak el, amelyek lehetővé teszik a nagy sebességgel létrehozható, sokszínű adatok elemzését. Ide tartoznak a nagy mennyiségű adatot elemző technológiák, például a data lake-k és a kibővített megoldások.
Az elmúlt években számos szervezet sikeresen használ olyan modern architekturális és elemzési mintákat, amelyek egyesítik az adattárház-technológiákat és a legújabb big data technológiákat.
Egyes szervezetek azonban problémákba ütköznek az elemzési mintákat használó elemzési megoldások üzembe helyezésekor. Ezek a megoldások még mindig monolitikus megoldásokként vannak implementálva, ahol egyetlen csapat a platformszolgáltató, és a csapat adatintegrációt végez. A kisebb szervezetek és szervezetek, amelyek a csapatbeállítás szempontjából magas szintű központosítással rendelkeznek, egyetlen csapatot használhatnak. A csak egyetlen csapatot használó nagyobb szervezetek azonban gyakran szűk keresztmetszetet okoznak. Ez a szűk keresztmetszet hatalmas hátralékot okoz, ami azt eredményezi, hogy a szervezet egyes részei adatintegrációs szolgáltatásokra és elemzési megoldásokra várnak.
Ez a minta egyre gyakoribbá válik, amikor a szervezetek modern adatelemzési megoldásokat vezetnek be. Számos modern adatelemzési megoldás több adatot igényel, mint a hagyományos üzletiintelligencia-megoldások.
A mikroszolgáltatások alkalmazásfejlesztési mintaként való használatára való legutóbbi váltás az adatintegráció körüli hosszú hátralékok egyik mozgatórugója, mivel növeli az adatforrások számát.
Egy nagy szervezet egyetlen platformján az összes adatbetöltést kezelő csapat is problémás lehet. Egy csapatnak ritkán van szakértője minden adatforráshoz. A legtöbb szervezet decentralizált és üzleti szempontból elosztott. A különböző üzleti egységek és részlegek az üzleti művelet különböző részeit kezelik, így az adatszakértők általában különböző ágazatokban oszlanak meg.
A közelmúltban egy új, adathálónak nevezett architektúramintát vezetnek be ezeknek a problémáknak a megoldására. A Data Mesh célja, hogy az elosztott csapatok decentralizált és agilis módon dolgozzanak és osszanak meg információkat.
Az adatháló egy technikai minta, amely szervezeti módosítást is igényel. Az adathálós megközelítés előnyei az adattermékeket közzétevő és használó, több tudományágat alkalmazó csapatok implementálásával érhetők el.
Az adathálós architektúra megértéséhez az alábbi fogalmak alapfogalmak:
- Adattartományok
- Adattermékek
- Önkiszolgáló platformok
- Összevont irányítás
Adattartományok
Az adattartományok az adatháló alapjai. Az adattartományok fogalma a tartományalapú fejlesztésből (DDD) származik, amely a szoftverfejlesztésben gyakran használt paradigma az összetett szoftvermegoldások modellezésére. Az adathálóban az adattartományok határokat határozhatnak meg a vállalati adatok körül. A tartományok a szervezettől függően változhatnak, és bizonyos esetekben a szervezet körüli tartományokat is definiálhatja. Más esetekben dönthet úgy, hogy az üzleti folyamatok vagy a forrásrendszerek alapján modellezi az adattartományokat.
Az adattartományoknak három aspektusa van:
A választott határok hosszú távú tulajdonba teszik magukat. Hosszú idő alatt léteznek, és azonosították a tulajdonosokat.
A tartományoknak nem csak az elméleti fogalmaknak, hanem a valóságnak is meg kell egyeznie.
A tartományoknak atomi integritásra van szükségük. Ha a területek nem állnak kapcsolatban egymással, ne egyesítse őket egy tartományban.
Az adattartományokról és azok definiálásáról további információt az Adattartományok című témakörben talál.
Adattermékek
Az adattermékek az adatháló egy másik fontos összetevője. Az adattermékek célja, hogy a termék gondolkodását az adatok világára irányítsa. Ahhoz, hogy az adattermék sikeres legyen, hosszú távú üzleti értéket kell biztosítania a kívánt felhasználóknak. Az adathálóban az adattermék magában foglalja az adatokat, a kódegységeket, a metaadatokat és a kapcsolódó szabályzatokat. Az adattermékek api-ként, jelentésként, táblázatként vagy adatkészletként is kézbesíthetők egy adattóban.
A sikeres adatterméknek a következőnek kell lennie:
- Használható: A terméknek az azonnali adattartományon kívüli felhasználókkal kell rendelkeznie.
- Értékes: A terméknek idővel meg kell őriznie az értéket. Ha nem rendelkezik hosszú távú értékkel, akkor nem lehet sikeres.
- Megvalósítható: A terméknek megvalósíthatónak kell lennie. Ha valójában nem tudja felépíteni, a termék nem lehet sikeres. A terméknek az adatok rendelkezésre állása és műszaki szempontból egyaránt megvalósíthatónak kell lennie.
Az adattermék kódegységei közé tartozik az azt létrehozó kód és az azt kézbesítő kód. A kódegységek a termék és a termék zárójelentésének létrehozásához használt folyamatokat is tartalmazzák.
További információ az adattermékekről: Felhőalapú elemzési adattermékek az Azure-ban.
Az adatháló használatáról további információt a Mi az adattermék? című témakörben talál.
Önkiszolgáló platformok
Az adatháló egy olyan platformmal rendelkezik, amellyel az adattartományok önállóan hozhatják létre adattermékeiket. Az adattartományoknak olyan eszközökkel és folyamatokkal kell meghatározniuk az adattermékeket, amelyek a felhasználók számára relevánsak anélkül, hogy egy központi platformtól vagy egy központi platformcsapattól erős függőséget kellene kialakítaniuk. Az adathálóban autonóm csapatok fejlesztenek és kezelnek autonóm termékeket.
A decentralizáltság és az adatok megértését végző üzleti felhasználókkal való összehangolás során emlékezzen a platformon szintén dolgozó általánosítókra. Mivel általános szakemberekkel rendelkezik, nem rendelkezhet olyan speciális eszközökkel, amelyek speciális ismereteket igényelnek ahhoz, hogy a mesh-alapú platform alapvető alapjaként működjenek.
Az önkiszolgáló platformot sikeresen megvalósíthatja az önkiszolgáló adatplatformok tervezési szempontjaiban ismertetett eljárások elfogadásával.
Összevont irányítás
Ha önkiszolgáló elosztott adatplatformot vezet be, nagyobb hangsúlyt kell fektetnie a szabályozásra. Az irányítás hiánya silókhoz és adatkettőződéshez vezet az adattartományokban. Az irányítás összevonása, mivel azok a személyek, akik tisztában vannak a szabályozási igényekkel, a tartományhoz igazított csapatokban és az adattulajdonosok között léteznek.
Az összevont irányítás létrehozásához implementáljon automatizált szabályzatokat a platform és az adatigények köré. A teszteléshez és a monitorozáshoz nagy fokú automatizálást használhat. Kódelső implementációs stratégia bevezetése szabványok, szabályzatok, adattermékek és platformtelepítés kódként való kezelésére.
Az összevont szabályozási szempontok implementálásával kapcsolatos további információkért tekintse meg az adatszabályozás áttekintését.
Összegzés
Az adatháló hatékony módja lehet a vállalati adatplatformok implementálásának, de nem ez a legjobb megoldás minden szervezet számára. Az adathálóhoz önálló csapatok szükségesek, amelyek egymástól függetlenül működnek. A Data Mesh olyan nagy és összetett szervezetekben működik a legjobban, amelyek független üzleti egységekkel rendelkeznek, és az elemzési bevezetésüket egyetlen platformon és megvalósítási csapaton túl kell skálázniuk.
Az adatháló használatakor különös figyelmet kell fordítania a cégirányítás implementálásakor, hogy ne hozzon létre silókat. A siker érdekében mindig az adatokra gondoljon a termék a megvalósítás középpontjában.