Analisi in tempo reale su architettura Big Data

Analysis Services
Hub eventi
Synapse Analytics

Idea della soluzione

Se si desidera vedere questo articolo con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o linee guida sui prezzi, è possibile inviare commenti e suggerimenti GitHub!

Ottenere informazioni dettagliate dai dati di streaming live con facilità. Acquisire dati in modo continuo da qualsiasi dispositivo IoT o log dai clickstream del sito Web ed elaborarlo quasi in tempo reale.

Architettura

Diagramma di un'analisi in tempo reale sull'architettura dei Big Data usando Azure Synapse Analytics con Azure Data Lake Archiviazione Gen2, Hub eventi, Azure Analysis Services, database di Azure Cosmos e Power BI.

Scaricare un SVG di questa architettura.

Flusso di dati

  1. Inserire facilmente i dati di streaming live per un'applicazione usando Hub eventi di Azure.
  2. Riunire tutti i dati strutturati usando Synapse Pipelines blob di Azure Archiviazione.
  3. Sfruttare i Apache Spark per pulire, trasformare e analizzare i dati di streaming e combinarli con dati strutturati di database operativi o data warehouse.
  4. Usare tecniche scalabili di Machine Learning/Deep Learning per ricavare informazioni dettagliate più approfondite da questi dati, usando Python, Scala o .NET, con esperienze di notebook nei Apache Spark virtuali.
  5. Applicare Apache Spark pool e synapse Pipelines in Azure Synapse Analytics per accedere ai dati e spostarlo su larga scala.
  6. Creare dashboard di analisi e report incorporati in un pool di SQL dedicato per condividere informazioni dettagliate all'interno dell'organizzazione e usare Azure Analysis Services per fornire questi dati a migliaia di utenti.
  7. Prendere le informazioni dettagliate dai Apache Spark per Cosmos database per renderle accessibili tramite app in tempo reale.

Componenti

  • Azure Synapse Analytics è il cloud data warehouse veloce, flessibile e attendibile che consente di ridimensionare, calcolare e archiviare in modo elastico e indipendente, con un'architettura di elaborazione estremamente parallela.
  • Synapse Pipelines documentazione consente di creare, pianificare e orchestrare i flussi di lavoro ETL/ELT.
  • Azure Data Lake Archiviazione:funzionalità di data lake scalabilità e sicurezza in modo Archiviazione
  • Azure Synapse Analytics pool Spark è una piattaforma di analisi basata su Apache Spark di analisi rapida, semplice e collaborativa.
  • La documentazione di Azure Hub eventi di Azure è una piattaforma di streaming di Big Data e un servizio di inserimento di eventi.
  • Azure Cosmos DB è un servizio di database multimodello e distribuito a livello globale. Informazioni su come replicare i dati in un numero qualsiasi di aree di Azure e ridimensionare la velocità effettiva indipendentemente dall'archiviazione.
  • Azure Synapse Link for Azure Cosmos DB consente di eseguire analisi near real-time sui dati operativi nel database di Azure Cosmos, senza alcun impatto sulle prestazioni o sui costi sul carico di lavoro transazionale, usando i due motori di analisi disponibili nell'area di lavoro di Azure Synapse: SQL Serverless e Spark Pools.
  • Azure Analysis Services è un servizio di analisi di livello aziendale che consente di gestire, distribuire, testare e distribuire la soluzione BI in tutta sicurezza.
  • Power BI è un gruppo di strumenti di Analisi business che consente di distribuire informazioni dettagliate in tutta l'organizzazione. Connessione a centinaia di origini dati, semplificare la preparazione dei dati e guidare l'analisi non pianificata. Creare report di qualità, quindi pubblicarli per l'uso da parte dell'organizzazione sul Web e tra dispositivi mobili.

Alternativi

Prezzi

Passaggi successivi