Analýzy v reálném čase v architektuře pro velké objemy dat

Analysis Services
Event Hubs
Synapse Analytics

Idea řešení

Pokud se chcete podívat, jak tento článek rozšíříme o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět pomocí GitHub Feedback!

Snadno vám poskytnou přehledy o živém streamování dat. Průběžné zaznamenávání dat ze všech zařízení IoT nebo protokolů z webu stránkách a jejich zpracování téměř v reálném čase.

Architektura

Diagram analýzy v reálném čase s architekturou velkých objemů dat pomocí Azure Synapse analytics s Azure Data Lake Storage Gen2, centrum událostí, Azure Analysis Services, Azure Cosmos DB a Power BI.

Stáhnout SVG této architektury.

Tok dat

  1. Snadno ingestujte živá streamovaná data pro aplikaci s využitím Azure Event Hubs.
  2. využijte všechna vaše strukturovaná data pomocí Pipelines Synapse do Azure Blob Storage.
  3. Využijte fondy Apache Spark k vyčištění, transformaci a analýze streamovaná data a jejich kombinování se strukturovanými daty z provozních databází nebo datových skladů.
  4. Využijte škálovatelné techniky strojového učení a hloubkového učení, abyste z těchto dat odvodili hlubší přehledy pomocí Pythonu, Scala nebo .NET s poznámkovým prostředím v Apache Sparkch fondech.
  5. použijte Apache Spark fond a Synapse Pipelines ve službě Azure Synapse Analytics pro přístup a přesouvání dat ve velkém měřítku.
  6. sestavujte řídicí panely a vložené sestavy ve vyhrazeném fondu SQL, abyste mohli sdílet přehledy v rámci vaší organizace a používat Azure Analysis Services k poskytování těchto dat tisícům uživatelů.
  7. využijte přehledy Apache Spark fondů, abyste je mohli Cosmos DB, aby byly přístupné prostřednictvím aplikací v reálném čase.

Komponenty

  • Azure synapse Analytics je rychlý, flexibilní a důvěryhodný cloudový datový sklad, který umožňuje elasticky a nezávisle na sobě škálovat, počítat a ukládat, a to s využitím výkonné architektury paralelního zpracování.
  • Synapse Pipelines dokumentaci vám umožní vytvářet, plánovat a orchestrovat pracovní postupy ETL/ELT.
  • Azure Data Lake Storage: široce škálovatelné a zabezpečené funkce Data Lake založené na Azure Blob Storage
  • Azure synapse Analytics Spark je rychlá, snadná a týmová analytická platforma založená na spolupráci Apache Spark.
  • Dokumentace k Azure azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí.
  • Azure Cosmos DB je globálně distribuovaná databázová služba pro více modelů. Pak se dozvíte, jak replikovat data do libovolného počtu oblastí Azure a škálovat propustnost nezávisle na úložišti.
  • odkaz na Azure Synapse pro Azure Cosmos DB umožňuje spouštět analýzy prakticky v reálném čase nad provozními daty v Azure Cosmos DB, aniž by to mělo dopad na výkon nebo náklady na transakční úlohy, a to pomocí dvou analytických modulů, které jsou dostupné z vašeho pracovního prostoru Azure Synapse: SQL serverových a sparkových fondů.
  • Azure Analysis Services je analýza podnikové úrovně jako služba, která umožňuje řídit, nasazovat, testovat a doručovat vaše řešení BI bez obav.
  • Power BI je sada nástrojů pro obchodní analýzy, které poskytují přehledy napříč vaší organizací. Připojení stovky zdrojů dat, zjednodušte přípravu dat a proveďte neplánovanou analýzu. Vytvářejte působivé sestavy a potom je publikujte ve vaší organizaci, abyste je mohli využívat na webu a napříč mobilními zařízeními.

Alternativy

  • odkaz na Synapse je preferované řešení microsoftu pro analýzu nad Cosmos DBmi daty.

Ceny

Další kroky