Realtidsanalys för stordataarkitektur

Analysis Services
Event Hubs
Synapse Analytics

Lösningsidé

Om du vill att vi utökar den här artikeln med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du berätta för oss GitHub Feedback!

Få insikter från direktsänd strömmande data på ett enkelt sätt. Samla in data kontinuerligt från valfri IoT-enhet eller loggar från webbplatsklickströmmar och bearbeta dem nästan i realtid.

Arkitektur

Diagram över en realtidsanalys av arkitekturen för stordata med hjälp av Azure Synapse Analytics med Azure Data Lake Storage Gen2, Event Hub, Azure Analysis Services, Azure Cosmos DB och Power BI.

Ladda ned en SVG för den här arkitekturen.

Dataflöde

  1. Mata enkelt in liveuppspelningsdata för ett program med hjälp av Azure Event Hubs.
  2. Sammanför alla dina strukturerade data med synapse-pipelines till Azure Blob Storage.
  3. Dra nytta av Apache Spark för att rensa, transformera och analysera strömmande data och kombinera dem med strukturerade data från operativa databaser eller informationslager.
  4. Använd skalbara maskininlärnings-/djupinlärningstekniker för att härleda djupare insikter från dessa data med hjälp av Python, Scala eller .NET, med notebook-upplevelser i Apache Spark pooler.
  5. Använd Apache Spark och Synapse-pipelines i Azure Synapse Analytics för att komma åt och flytta data i stor skala.
  6. Skapa analysinstrumentpaneler och inbäddade rapporter i dedikerad SQL pool för att dela insikter i din organisation och använda Azure Analysis Services för att ge dessa data till tusentals användare.
  7. Ta insikterna från Apache Spark-pooler till Cosmos DB att göra dem tillgängliga via realtidsappar.

Komponenter

  • Azure Synapse Analytics är det snabba, flexibla och betrodda molninformationslagret som gör att du kan skala, beräkna och lagra elastiskt och oberoende, med en massivt parallell bearbetningsarkitektur.
  • Med Dokumentation om Synapse Pipelines kan du skapa, schemalägga och orkestrera dina ETL/ELT-arbetsflöden.
  • Azure Data Lake Storage:Massivt skalbara och säkra datasjöfunktioner som bygger på Azure Blob Storage
  • Azure Synapse Analytics Spark-pooler är en snabb, enkel Apache Spark samarbetsbaserad analysplattform.
  • Dokumentation Azure Event Hubs Azure-tjänster är en plattform för stordataströmning och händelseinmatningstjänst.
  • Azure Cosmos DB är en globalt distribuerad databastjänst för flera modeller. Lär dig sedan hur du replikerar dina data i val av Azure-regioner och skalar dataflödet oberoende av din lagring.
  • med Azure Synapse Link för Azure Cosmos DB kan du köra analys i nära realtid över driftdata i Azure Cosmos DB utanprestanda- eller kostnadspåverkan på transaktionsarbetsbelastningen med hjälp av de två analysmotorer som är tillgängliga från din Azure Synapse-arbetsyta: SQL Serverlösa pooler och Spark-pooler.
  • Azure Analysis Services är en analys i företagsklass som en tjänst som låter dig styra, distribuera, testa och leverera din BI-lösning med tillförsikt.
  • Power BI är en uppsättning affärsanalysverktyg som ger insikter i hela organisationen. Anslut till hundratals datakällor, förenkla dataförberedelser och driva oplanerad analys. Skapa snygga rapporter och publicera dem sedan så att din organisation kan använda dem på webben och på mobila enheter.

Alternativ

  • Synapse Link är microsofts föredragna lösning för analys utöver Cosmos DB data.

Prissättning

Nästa steg