Scénář finanční instituce pro datovou síť
Tento scénář je určený pro zákazníky, kteří chtějí používat analýzy v cloudovém měřítku pro architekturu škálovatelnosti a datových sítí . Předvádí složitý scénář s cílovými zónami, integracemi dat a datovými produkty.
Profil zákazníka
Fiktivní firma Woodgrove Bank je velká společnost, která má celosvětové nároky na finanční služby. Data společnosti Woodgrove Bank jsou uložená v místních a cloudových systémech nasazení. V rámci architektury Woodgrove Bank existuje několik systémů datového skladu pro konsolidovaný marketing a integrované generování sestav. Tato architektura zahrnuje několik datových jezer pro ad hoc analýzy a zjišťování dat. Aplikace Woodgrove Bank jsou vzájemně propojené prostřednictvím vzorů integrace aplikací, které jsou většinou založené na rozhraní API nebo událostech.
Aktuální situace
Pro banku Woodgrove Bank je kvůli složitosti datových skladů obtížné distribuovat data do různých umístění. Integrace nových dat je časově náročná a svádí k duplikování dat. Pro banku Woodgrove Bank je kvůli propojení typu point-to-point obtížné dohlížet na komplexní datovou oblast. Banka podcenila poptávku po intenzivní spotřebě dat. Nové případy použití se zavádějí rychle, jeden po druhém. Řízení dat, jako je vlastnictví a kvalita dat, a náklady se obtížně kontrolují. Udržování aktu s předpisy je obtížné, protože Woodgrove Bank přesně neví, kde se její data nacházejí.
Řešení architektury: Datová síť
V posledních několika letech si organizace uvědomily, že data jsou jádrem všeho. Data otevírají nové možnosti efektivity, podnětí inovace, otevírají nové obchodní modely a zvyšují spokojenost zákazníků. Pro společnosti je nejvyšší prioritou používat metody řízené daty, jako jsou data ve velkém měřítku.
Dosažení fáze, ve které je hlubší hodnota dat přístupná všem členům organizace, je náročné. Starší a úzce propojené systémy, centralizované monolitické platformy a komplexní zásady správného řízení můžou být významnými překážkami pro generování hodnoty z dat.
O datové síti
Koncept datové sítě, což je termín, který vytvořil Zhamak Dehghani, zahrnuje data, technologie, procesy a organizaci. Koncepčně se jedná o přístup přístupný ke správě dat, kde různé domény používají svá vlastní data. Datová síť ztěžuje myšlenku konvenční centralizace dat. Datová síť se na data nedívají jako na jedno obrovské úložiště, ale uvažují o rozkladu nezávislých datových produktů. Tento přechod z centralizovaného na federované vlastnictví je podporován moderní a samoobslužnou datovou platformou, která je obvykle navržená pomocí nativních cloudových technologií.
Když rozdělíte koncept datové sítě do stavebních bloků, tady jsou některé klíčové body, které byste měli zvážit:
- Data jako produkt: Každá (organizační) doména provozuje svá data od konce do konce. Odpovědnost nese vlastník dat v rámci domény. Kanály se stávají prvotřídním zájmem samotných domén.
- Zásady správného řízení federovaných výpočetních dat: Aby každý vlastník dat mohl důvěřovat ostatním a sdílet své datové produkty, musí být vytvořen orgán zásad správného řízení podnikových dat. Orgán zásad správného řízení implementuje kvalitu dat, centrální viditelnost vlastnictví dat, správu přístupu k datům a zásady ochrany osobních údajů.
- Vlastnictví dat orientovaných na doménu: Podnik by měl v ideálním případě definovat a modelovat každý uzel datové domény v rámci sítě použitím principů návrhu orientovaného na doménu.
- Samoobslužná datová platforma: Datová síť vyžaduje samoobslužnou datovou platformu, která uživatelům umožňuje odstranit technickou složitost a zaměřit se na jednotlivé případy použití dat.
Analýzy v cloudovém měřítku
Myšlení o datech jako produktu a samoobslužný model platformy nejsou v Microsoftu novinkou. Microsoft už řadu let dodržuje osvědčené postupy pro distribuované platformy, kanály napříč doménami, federované vlastnictví a vysvětlující data.
Woodgrove Bank může přejít na datovou síť pomocí analýzy v cloudovém měřítku. Analýzy v cloudovém měřítku jsou opensourcový a preskriptivní podrobný plán pro navrhování a rychlé nasazení moderních datových platforem. Je spojený s osvědčenými postupy a principy návrhu Azure a je v souladu s architekturou Azure Well-Architected Framework. Analýzy v cloudovém měřítku poskytují podnikům 80 % předepsaného pohledu a zbývajících 20 % je přizpůsobitelných.
Analýzy v cloudovém měřítku nabízejí podnikům strategickou cestu k návrhu směrem k datové sítě a dají se použít k rychlému nastavení takové architektury. Nabízí podrobný plán, včetně základních služeb datové platformy pro správu dat.
Na nejvyšší úrovni využívají analýzy v cloudovém měřítku funkci správy dat, která je povolená prostřednictvím cílové zóny správy dat. Tato zóna zodpovídá za zásady správného řízení federovaných dat organizace (samoobslužné) platformy a datových domén, které prostřednictvím datových produktů posílaly obchodní hodnotu. Výhodou tohoto přístupu je, že odstraňuje technickou složitost a současně dodržuje stejné standardy. Zajišťuje, aby se technologie nešířily. Umožňuje také podnikům začít modulární s malými nároky a v průběhu času růst.
Cílová zóna správy dat, jak vidíte na následujícím diagramu, obklopuje všechny datové domény. Spojuje všechny domény dohromady a poskytuje dohled, který woodgrove bank hledá.
Analýzy v cloudovém měřítku také obhajují použití konzistentních zásad správného řízení, které při distribuci datových produktů využívají společnou architekturu. Architektura umožňuje přímou komunikaci mezi doménami. Zůstává pod kontrolou tím, že klade důraz na centrální kataloging a klasifikaci, aby chránila data a umožnila skupinám zjišťovat data. Zastřešuje vaše datové prostředky.
Datové domény
Když používáte analýzy v cloudovém měřítku jako strategickou cestu, musíte myslet na rozklad architektury a výslednou členitost. Datová síť rozloží data tak, že nedodržuje hranice technologií. Místo toho používá principy návrhu řízeného doménou (DDD), který je přístup k vývoji softwaru, který zahrnuje komplexní systémy pro větší organizace. DDD je oblíbené kvůli svému vlivu na moderní software a postupy vývoje aplikací, jako jsou mikroslužby.
Jeden ze vzorů z návrhu řízeného doménou se označuje jako ohraničený kontext. Ohraničené kontexty slouží k nastavení logických hranic prostoru řešení domény, aby se lépe řídila složitost. Je důležité, aby týmy pochopily, které aspekty, včetně dat, se můžou měnit a které jsou sdílené závislosti, aby mohly koordinovat s ostatními. Datová síť zahrnuje ohraničený kontext. Tento model používá k popisu, jak mohou organizace koordinovat datové domény a zaměřit se na doručování dat jako produktu. Každá datová doména vlastní a provozuje několik datových produktů s vlastním zásobníkem technologií, který je nezávislý na ostatních.
Datové produkty
Když přiblížíte vnitřní architekturu takové datové domény, očekáváte, že v ní najdete datové produkty.
Datové produkty splňují konkrétní potřeby v rámci firem, které data používají. Datové produkty spravují, uspořádají a získají smysl pro data napříč doménami a pak prezentují získané poznatky. Datový produkt je výsledkem dat z jedné nebo více integrací dat nebo jiných datových produktů. Datové produkty jsou úzce v souladu s datovými doménami a dědí stejný vytvořený formalizovaný jazyk. Je odsouhlasen zúčastněnými stranami a návrháři a slouží potřebám návrhu. Každá doména, která generuje data, zodpovídá za zpřístupnění těchto datových produktů ostatním doménám.
Analýzy v cloudovém měřítku nabízejí šablony pro vzorce distribuce a integrace dat, které pomáhají rychle dodávat datové produkty. Tato architektura poskytuje dávky dat, streamování a analýzy, které řeší potřeby různorodých uživatelů.
Jednou z skvělých věcí na analýzách v cloudovém měřítku je uspořádání domén a datových produktů. Každá datová doména odpovídá jedné cílové zóně dat, což je logický konstrukt a jednotka škálování v architektuře analýzy na úrovni cloudu. Umožňuje uchovávání dat a spouštění datových úloh, které generují přehledy a hodnoty. Každý datový produkt odpovídá jedné skupině prostředků v rámci cílové zóny dat a všechny cílové zóny dat a zóny správy odpovídají předplatným. Tento přístup usnadňuje implementaci a správu.
Všechny analytické šablony v cloudovém měřítku dědí stejnou sadu zásad z cílové zóny správy dat. Šablony automaticky poskytují potřebná metadata pro zjistitelnost dat, zásady správného řízení, zabezpečení, správu nákladů a efektivitu provozu. Nové datové domény můžete rychle onboardovat bez nutnosti složitého onboardingu, integrace a testování.
Následující diagram znázorňuje, jak může datový produkt vypadat:
Pragmatičtějším přístupem k vytváření datových produktů je buď soulad se zdrojem, odkud data pocházejí, nebo s případem využití. V obou případech potřebujete poskytnout abstraktní pohled na podkladový (komplexní) datový model aplikace. Musíte se pokusit skrýt technické podrobnosti a optimalizovat je pro intenzivní spotřebu dat. Zobrazení Azure Synapse nebo soubor Parquet, který logicky seskupuje data, je příkladem sdílení datového produktu napříč různými datovými doménami.
Dále budete muset pracovat na zjistitelnosti, původu, použití a rodokmenu dat. Osvědčeným přístupem je použití služby zásad správného řízení dat, jako je Azure Purview, k registraci všech dat. Integrace dat v analýze v cloudovém měřítku dokonale propojuje tečky, protože umožňuje vytvářet tyto datové produkty, protože současně provádějí registraci metadat.
Sladěním datových domén a kolekcí Azure Purview automaticky zaznamenáte veškerý původ dat, rodokmen dat, podrobnosti o kvalitě dat a informace o spotřebě z jednotlivých domén. S tímto přístupem můžete připojit více datových domén a produktů k centralizovaným řešením zásad správného řízení, které ukládá všechna metadata z každého prostředí. Výhodou je, že centrálně integruje všechna metadata a usnadňuje jejich přístup různým uživatelům. Tuto architekturu můžete rozšířit o registraci nových datových produktů.
Následující diagram znázorňuje architekturu datové sítě mezi doménami, která používá analýzy v cloudovém měřítku.
Návrh sítě umožňuje sdílení datových produktů napříč doménami s minimálními náklady a eliminací jediného bodu způsobujícího selhání a omezení šířky pásma. K zajištění zabezpečení můžete použít model zabezpečení Microsoft nulová důvěra (Zero Trust). Analýzy v cloudovém měřítku navrhují použití izolace sítě prostřednictvím privátních koncových bodů a komunikace privátní sítě, což je model přístupu k datům řízený identitou, který používá MI, UMI a vnořené skupiny zabezpečení, a to v souladu s principem nejnižších oprávnění.
Spravované identity můžete použít k zajištění toho, aby se dodržoval model přístupu s nejnižšími oprávněními. Aplikace a služby v tomto modelu mají omezený přístup k datovým produktům. Zásady Azure s chystanými zásadami pro data se používají k zajištění samoobslužných služeb a vynucování prostředků vyhovujících předpisům ve všech datových produktech ve velkém měřítku. Díky tomuto návrhu můžete mít jednotný přístup k datům a zároveň mít plnou kontrolu prostřednictvím centralizovaného řízení a auditování dat.
Vývoj směrem k budoucnosti
Analýzy v cloudovém měřítku jsou navržené s ohledem na datovou síť. Analýzy v cloudovém měřítku poskytují osvědčený přístup, který umožňuje organizacím sdílet data napříč mnoha datovými doménami. Tato architektura umožňuje doménám autonomii při rozhodování a řídí architekturu tím, že ji provádí službami pro správu dat.
Při implementaci datové sítě logicky seskupte a uspořádejte domény. Tento přístup vyžaduje podnikové zobrazení a pravděpodobně se jedná o kulturní posun pro vaši organizaci. Tento posun vyžaduje, abyste vlastnictví dat federovali mezi datovými doménami a vlastníky, kteří zodpovídají za poskytování svých dat jako produktů. Vyžaduje také, aby týmy vyhovovaly centralizovaným možnostem, které nabízí cílová zóna správy dat. Tento nový přístup může vyžadovat, aby se jednotlivé týmy vzdaly svých stávajících mandátů, které pravděpodobně generují odpor. Možná budete muset učinit určitá politická rozhodnutí a dosáhnout rovnováhy mezi centralizovanými a decentralizovanými přístupy.
Architekturu datové sítě můžete škálovat přidáním dalších cílových zón do architektury pro jednotlivé domény. Tyto cílové zóny používají peering virtuálních sítí pro připojení k cílové zóně správy dat a všem ostatním cílovým zónám. Tento model umožňuje sdílet datové produkty a prostředky napříč zónami. Když rozdělíte do samostatných zón, můžete rozdělit úlohy mezi předplatná a prostředky Azure. Tento přístup umožňuje implementovat datovou síť ekologicky.
Další informace
Zdroje informací Microsoftu:
Článek od zakladatele datové sítě Zhamaka Dehghaniho: