Několik datových zón pro analýzy v cloudovém měřítku v Azure
Tato referenční architektura je určená pro organizace, které implementovaly základní verzi analýz v cloudovém měřítku a jsou teď připravené hostovat nové obchodní jednotky, které pomáhají modernizovat své analytické operace. Tento složitější scénář používá více cílových zón, datových aplikací a datových produktů.
Apache Hive a logo Hive jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.
Popis problému
Relecloud, fiktivní společnost v tomto příkladu, je poskytovatel privátního cloudu, který nabízí sdílené výpočetní a úložné prostředky globálním organizacím. I když Relecloud poskytuje výpočetní prostředky, nechtějí omezit svou platformu vlastními interními operacemi. Proto se spoléhají na Microsoft Azure pro potřeby interního výpočetního prostředí.
Datoví analytici ve skupině operací používají telemetrická data z cloudových služeb, aby pochopili, jak zákazníci používají platformu. Samostatný tým analytiků ve fakturační skupině studuje data fakturace, aby získal přehled o tom, které služby generují nejvíce výnosů.
Minulý čtvrtletí provozní tým modernizoval svou analytickou platformu migrací do Azure. Jedním z cílů při implementaci analýz na úrovni cloudu bylo maximalizace potenciálu škálování platformy a přidání nových organizačních úloh.
V současné době fakturační skupina přerostla aktuální analytické řešení. Objem faktur, které se mají analyzovat, je pro místní server příliš velký. Tým se rozhodne sledovat vedoucí skupinu operací a modernizovat svou platformu pro analýzu dat v Azure.
Analytici ve fakturační skupině mají jiné dovednosti než analytici v provozní skupině. Fakturační analytici nechtějí být omezeni tak, aby používali stejné nástroje jako operace. Fakturační skupina je v jiné části organizace a chce flexibilitu implementovat zásady a postupy, které vyhovují jejich potřebám.
Architektonické řešení
Relecloud škáluje svou analytickou platformu přidáním nové cílové zóny pro fakturační skupinu. Tato cílová zóna poskytuje virtuální pracovní prostor fakturační skupiny pro implementaci analytických řešení, která vyhovují jejich obchodním potřebám. Když bude cílová zóna oddělená od ostatních prostředků organizace, může fakturační skupina implementovat vlastní zásady přístupu a účtovat náklady na své služby.
Následující diagram nepředstavuje všechny služby Azure. Diagram je zjednodušený, aby zvýrazňoval základní koncepty uspořádání prostředků v rámci architektury.
Cílová zóna správy dat
Klíčovým požadavkem implementace analýzy na úrovni cloudu je cílová zóna správy dat. Toto předplatné obsahuje prostředky sdílené napříč všemi cílovými zónami, včetně sdílených síťových komponent, jako je brána firewall nebo privátní zóny DNS. Cílová zóna správy dat zahrnuje také prostředky pro zásady správného řízení dat a cloudu, jako jsou Azure Policy a Azure Purview.
Relecloud vytvořil cílovou zónu správy dat při nasazení řešení analýzy dat pro skupinu operací. Když se fakturační skupina připojí k platformě, použije stejnou cílovou zónu správy dat ke sdílení společných prostředků se skupinou operací.
Cílová zóna provozních dat
Skupina operací má v cílové zóně dat následující řešení.
Provozní datové aplikace
Tým vytvořil zdrojově sladěnou datovou aplikaci , která používá úlohy Apache Sparku v Azure Databricks k ingestování telemetrických dat služby a uloží je do účtu Azure Data Lake Storage.
Tento proces kopíruje data z zdrojového systému, ale ne transformuje je. Analytici můžou pracovat s zkopírovanými daty v analytické platformě bez přetížení zdrojového systému. Místo vytvoření vyhrazeného nasazení pro tuto datovou aplikaci používá provozní tým pracovní prostor Databricks ve sdílené skupině prostředků Ingest a Processing .
Zákazníci Relecloudu můžou vytvářet cloudové účty pro správu prostředků a fakturace v jejich privátních cloudech. Každý zákazník může mít více účtů. Analytický tým vytvořil datovou aplikaci pro import dat cloudového účtu. Vzhledem k tomu, že objem a frekvence dat jsou mnohem nižší než u telemetrických dat, nemusí tým používat úlohy Sparku. Místo toho vytvořili kanály Azure Data Factory pro kopírování dat.
Azure Database for MySQL funguje jako metastore Hive a Azure SQL Database je metastore služby Azure Data Factory.
Provozní datové produkty
Analytici Relecloud získají hodnotu z dat ve zdrojových datových aplikacích tak, že vytvoří nové aplikace dat v souladu se spotřebiteli. Jednou z těchto aplikací dat v souladu se spotřebiteli je model doporučení cloudové služby. Relecloudoví datoví vědci použili Azure Machine Učení k vytvoření modelu, který sleduje služby, které cloudový účet využívá, a navrhuje související služby, které by mohly být užitečné. Tým nasadí tento model do clusteru Azure Kubernetes Service (AKS) běžícího v cílové zóně a spravovaném službou Azure Machine Učení. Aplikace, které běží mimo analýzu v cloudu, můžou volat koncový bod AKS, aby získaly doporučení.
Jakmile fakturační tým vytvoří cílovou zónu, provozní tým vytvoří nový datový produkt, který si vyžádá tým pro správu. Tým pro správu chce vědět, kolik výnosů vygeneruje aplikace pro doporučování cloudových služeb. Nový produkt s daty o výnosech doporučovacího nástroje pro výnosy využívá Azure Synapse Analytics ke kombinování dat z doporučovače cloudových služeb a výnosů podle služby do nového datového produktu. Obchodní analytici se můžou připojit k Azure Synapse pomocí Microsoft Power BI a najít a hlásit přehledy z tohoto nového datového produktu.
Cílová zóna fakturačních dat
Fakturační skupina používala k výkonu analýzy místní systém, ale s růstem objemu dat a společnost se více spoléhala na svou práci, systém nemohl držet krok. Skupina modernizuje svou platformu přechodem do cloudu.
Fakturační skupina nesdílí cílovou zónu se skupinou operací, ale získá vlastní cílovou zónu, kde má svobodu vytvářet platformu, která nejlépe vyhovuje jejich potřebám. Nová cílová zóna je propojená s cílovou zónou správy dat a všemi ostatními cílovými zónami dat s partnerským vztahem virtuální sítě. Tento mechanismus umožňuje bezpečné sdílení dat prostřednictvím interní sítě Azure.
Aplikace fakturačních dat
Fakturační skupina vytváří dvě datové aplikace, aby přistála z existujících systémů do analytické platformy. První aplikace ingestuje zákaznická data, včetně úplného seznamu zákazníků a všech souvisejících dat, jako jsou adresy zákazníků, umístění a přiřazení prodejce. Druhá aplikace naimportuje historii faktur společnosti, která zahrnuje všechny fakturační poplatky zákazníkům a související platební data.
Obě tyto aplikace využívají kanály ve sdíleném pracovním prostoru Azure Synapse. Každá aplikace má vyhrazený výpočetní fond, který usnadňuje účtování nákladů a hranice zabezpečení. Vzhledem k tomu, že aplikace je možné plně implementovat se sdílenými prostředky, fakturační skupina nemusí pro tyto datové aplikace vytvářet nasazení.
Produkt fakturačních dat
Fakturační analytici vytvoří nový datový produkt s názvem Revenue by service (Výnosy podle služeb ), který analyzuje, kolik výnosů každá cloudová služba generuje pro Relecloud. Tento produkt spoléhá na data v příjmu faktur . Produkt se také připojí k cílové zóně operací a přečte data o využití služby. Stejně jako datové aplikace závisí datový produkt také na sdíleném pracovním prostoru Azure Synapse.
Šablony nasazení
K nasazení architektur použijte následující cílové zóny správy dat a referenční šablony implementace cílové zóny dat:
Pomocí následujících šablon nasaďte další datové aplikace a datové produkty do cílových zón pro fakturaci a provoz Relecloudu:
| Název | Cílová zóna dat | Typ | Šablona |
|---|---|---|---|
| Cloudové účty | Operace | Datová aplikace | Šablona dávky datového produktu |
| Doporučené výnosy | Operace | Datový produkt | Šablona dávky datového produktu |
| Doporučovací služba cloudových služeb | Operace | Datová aplikace | Šablona analýzy datových produktů |
| Revenue by service | Fakturace | Datový produkt | Šablona dávky datového produktu |
Důležité
Relecloud nemusí nasazovat všechno v předchozích referenčních šablonách implementace, aby vyhovovaly jejich potřebám. Šablony vyžadují určitou úroveň přizpůsobení. Před nasazením odeberte služby, které ze šablon nepotřebujete.
Další kroky
Pokračujte ve scénáři Lamna Healthcare pro zabezpečené analýzy v cloudu v Azure.
Další informace najdete v následujících článcích: