Optimalizované úložiště – čas založený na Data Lake

Front Door
App Service
Functions
Cosmos DB
Data Lake

Idea řešení

Pokud se chcete podívat, jak tento článek rozšíříme o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět pomocí GitHub Feedback!

Tato architektura využívá více služeb Azure k optimalizaci výkonu a nákladů na úložiště. Azure Cosmos DB obsahuje nedávná data a splňuje požadavky aplikace na dostupnost, výkon a odolnost. Nativní možnosti replikace Azure Cosmos DB replikují data Azure Cosmos DB do jiných oblastí. Pravidelně se Azure Data Factory starší data z Azure Cosmos DB do Azure Data Lake, aby se snížily náklady na úložiště.

Potenciální případy použití

Architektura může být vhodná pro všechny aplikace, které používají obrovské objemy dat, které musí být vždy dostupné. Mezi příklady patří aplikace, které:

  • Sledujte zvyklosti zákazníků v útratě a nákupní chování.
  • Předpověď počasí
  • Nabídnou inteligentní systémy přenosů dat, implementují inteligentní systémy přenosů dat nebo k monitorování provozu používají inteligentní technologie.
  • Analýza dat Internet věcí (IoT)
  • Zobrazení dat inteligentního měřiče nebo použití inteligentní technologie k monitorování dat měřičů

Architektura

Architektura odolného systému, který ke snížení nákladů používá dva typy úložiště.

Stáhněte si soubor aplikace Visio s touto architekturou.

  1. Klient se ověřuje pomocí Azure Active Directory (Azure AD) a má udělen přístup k webovým aplikacím hostovaným Azure App Service.
  2. Azure Front Door brány firewall a nástroje pro vyrovnávání zatížení vrstvy 7 přepne uživatelský provoz v případě výpadku oblasti do jiné oblasti Azure.
  3. Azure App Service hostuje weby a webová rozhraní API RESTful. Klienti prohlížeče používají aplikace AJAX, které používají rozhraní API.
  4. Webová rozhraní API deleguje aplikace funkcí pro zpracování úloh na pozadí. Úkoly se zařadit do fronty Fronta Azure Storage frontách.
  5. Aplikace funkcí hostované službou Azure Functions provádějí úlohy na pozadí aktivované zprávami ve frontě.
  6. Azure Cache for Redis aplikace funkcí ukládá data databáze do mezipaměti. Tím se databázová aktivita zrychlí aplikace funkcí a webové aplikace.
  7. Azure Cosmos DB obsahuje 3 až 4 měsíce nejnovějších dat používaných webovými aplikacemi.
  8. Data Lake Storage obsahuje historická data používaná webovými aplikacemi.
  9. Pravidelně Azure Data Factory data z Azure Cosmos DB do Azure Data Lake, aby se snížily náklady na úložiště.

Komponenty

  • Azure Active Directory (Azure AD) je služba pro správu identit a přístupu s více tenanty, která se může synchronizovat s místním adresářem.
  • Azure DNS je hostitelská služba s vysokou dostupností pro domény DNS, která aplikacím poskytuje rychlé dotazy DNS a rychlé aktualizace záznamů DNS. Správa Azure DNS je jako správa dalších služeb Azure a používá stejné přihlašovací údaje, rozhraní API, nástroje a fakturaci.
  • Azure Front Door je zabezpečená síť pro doručování obsahu (CDN) a nástroj pro vyrovnávání zatížení s okamžitým převzetím služeb při selhání. Funguje na hraničních zařízeních blízko uživatelů a zrychluje doručování obsahu a současně chrání aplikace, rozhraní API a weby před kybernetickými hrozbami.
  • Azure App Service je plně spravovaná služba pro vytváření, nasazování a škálování webových aplikací. Aplikace můžete vytvářet pomocí .NET, .NET Core, Node.js, Javy, Pythonu nebo PHP. Aplikace mohou běžet v kontejnerech nebo na Windows nebo Linuxu. Při migraci mainframů je možné front-endové obrazovky nebo webové rozhraní kódovat jako rozhraní REST API založená na protokolu HTTP. Je možné je oddělením a bezstavovou orchestrací systému založeného na mikroslužbách. Další informace o webových rozhraních API najdete v tématu Návrh webového rozhraní API RESTful.
  • Azure Functions poskytuje prostředí pro spouštění malých částí kódu, které se nazývají funkce, bez nutnosti založit infrastrukturu aplikace. Můžete ji použít ke zpracování hromadných dat, integraci systémů, práci s IoT a vytváření jednoduchých rozhraní API a mikroslužeb. S mikroslužbami můžete vytvářet servery, které se připojují ke službám Azure a jsou vždy aktuální.
  • Azure Storage je sada masivně škálovatelných a zabezpečených cloudových služeb pro data, aplikace a úlohy. Zahrnuje Azure Files, Azure Table Storage, Azure Queue Storagea Azure Data Lake Storage. Azure Files je často efektivním nástrojem pro migraci mainframových úloh.
  • Azure Queue Storage poskytuje jednoduché, nákladově efektivní a odolné za fronty zpráv pro velké úlohy.
  • Azure Table Storage je úložiště párů klíč-hodnota NoSQL pro rychlý vývoj, které využívá rozsáhlé částečně strukturované datové sady. Tabulky jsou bez schématu a snadno se přizpůsobují měnícím se potřebám. Přístup je pro mnoho typů aplikací rychlý a nákladově efektivní a obvykle stojí méně než jiné typy úložiště s klíči.
  • Azure Cache for Redis je plně spravovaná služba ukládání do mezipaměti v paměti a zprostředkovatel zpráv pro sdílení dat a stavu mezi výpočetními prostředky. Zahrnuje open source Redis i komerční produkt z Redis Labs jako spravované služby. Výkon aplikací pro zpracování online transakcí s vysokou propustností můžete zlepšit jejich návrhem na škálování a využití úložiště dat v paměti, jako je Azure Cache for Redis.
  • Azure Cosmos DB je globálně distribuovaná databáze Microsoftu pro více modelů, která vašim řešením umožňuje elastické a nezávislé škálování propustnosti a úložiště napříč libovolným počtem geografických oblastí. Nabízí záruku propustnosti, latence, dostupnosti a konzistence s komplexními smlouvami o úrovni služeb (SLA).
  • Azure Data Factory je spravovaná služba, která orchestruje a automatizuje přesun a transformaci dat.
  • Azure Data Lake Storage je zabezpečená a masivně škálovatelná funkce úložiště Data Lake postavená na službě Azure Blob Storage.

Alternativy

  • Azure Traffic Manager směruje příchozí požadavky DNS napříč globálními oblastmi Azure na základě vaší volby metod směrování provozu. Poskytuje také automatické převzetí služeb při selhání a směrování výkonu.
  • Azure Content Delivery Network (CDN) ukládá statický obsah do mezipaměti na hraničních serverech pro rychlou odezvu a využívá optimalizace sítě ke zlepšení odezvy na dynamický obsah. CDN je zvlášť užitečná, když je uživatelská základna globální.
  • Azure Kubernetes Service (AKS) je plně spravovaná služba Kubernetes pro nasazování a správu kontejnerizovaných aplikací. Můžete ji použít k implementaci architektury mikroslužeb, jejíž komponenty se nezávisle škálují na vyžádání.
  • Azure Container Instances poskytuje rychlý a jednoduchý způsob, jak spouštět úlohy bez nutnosti spravovat infrastrukturu. Je užitečná při vývoji nebo při spouštění neplánovaných úloh.
  • Azure Service Fabric je platforma pro škálování a orchestraci kontejnerů a mikroslužeb.
  • Azure Service Bus je spolehlivá cloudová služba zasílání zpráv pro jednoduchou hybridní integraci. V této architektuře se může použít místo Storage front. Další informace najdete v tématu Storage fronty a Service Bus fronty – porovnání a kontrast.
  • Azure Synapse Link pro Azure Cosmos DB je funkce HTAP (Hybrid Transactional And Analytical Processing) nativní pro cloud, která umožňuje spouštět analýzy provozních dat v Azure Cosmos DB v reálném čase. Azure Synapse Link vytváří těsnou bezproblémovou integraci mezi Azure Cosmos DB a Azure Synapse Analytics.
  • Azure Synapse Analytics je rychlý, flexibilní a důvěryhodný cloudový datový sklad, který umožňuje elastické a nezávislé škálování, výpočty a ukládání s masivním paralelním zpracováním.

Požadavky

  • Historická data je potřeba migrovat do Azure Data Lake jako jednou aktivitu, aby se zajistila nákladová efektivita řešení.
  • Vývojáři aplikací musí implementovat rutiny migrace dat, které Azure Data Factory k přesunu dat z Azure Cosmos DB do Azure Data Lake.
  • Pokud migrujete data ze starého úložného systému, možná budete muset zapsat rutiny pro kopírování části starých dat do Cosmos DB. Pokud chcete sledovat průběh migrace dat, ujistěte se, že máte příznak časového razítka a kopírování.
  • Celkovou architekturu můžete dále optimalizovat nahrazením Azure Redis Cache integrovanou mezipamětí Azure Cosmos DB.

Další kroky