Architecture d’analytique en temps réel du Big Data

Analysis Services
Event Hubs
Synapse Analytics

Idée de solution

Si vous souhaitez nous voir développer cet article avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, faites-le nous savoir avec les Commentaires de GitHub.

Obtenez facilement des insights à partir de données de streaming en direct. Capturez des données en continu à partir de n’importe quel appareil IoT ou de journaux de parcours de navigation sur le web, et traitez-les en quasi-temps réel.

Architecture

Diagramme d’une analyse en temps réel d’une architecture de Big Data à l’aide d’Azure Synapse Analytics avec Azure Data Lake Storage Gen2, Event Hub, Azure Analysis Services, Azure Cosmos DB et Power BI.

Téléchargez un fichier SVG de cette architecture.

Flux de données

  1. Ingérez facilement les données de streaming en direct d’une application à l’aide d’Azure Event Hubs.
  2. Rassemblez toutes vos données structurées à l’aide de pipelines Synapse dans le Stockage Blob Azure.
  3. Tirez parti des pools Apache Spark pour nettoyer, transformer et analyser les données de streaming, et les combiner avec des données structurées de bases de données ou d’entrepôts de données opérationnels.
  4. Utilisez des techniques de Machine Learning/Deep Learning évolutives pour obtenir des insights plus détaillés à partir de ces données à l'aide de Python, Scala ou .NET, avec des expériences de notebook dans les pools Apache Spark.
  5. Utilisez un pool Apache Spark et des pipelines Synapse dans Azure Synapse Analytics pour accéder aux données et les déplacer à grande échelle.
  6. Créez des tableaux de bord analytiques et des rapports incorporés dans un pool SQL dédié pour partager des insights au sein de votre organisation, et utilisez Azure Analysis Services pour servir ces données à des milliers d’utilisateurs.
  7. Exportez les insights des pools Apache Spark vers Cosmos DB afin de les rendre accessibles dans des applications en temps réel.

Components

  • Azure Synapse Analytics est un entrepôt de données cloud rapide, flexible et fiable qui vous permet de mettre à l'échelle, de calculer et de stocker de manière élastique et indépendante, avec une architecture de traitement massivement parallèle.
  • La documentation sur les pipelines Synapse vous permet de créer, de planifier et d’orchestrer vos workflows ETL/ELT.
  • Azure Data Lake Storage : Fonctionnalité de lac de données sécurisée et extrêmement scalable qui repose sur le Stockage Blob Azure
  • Les pools Spark Azure Synapse Analytics constituent une plateforme analytique rapide, simple et collaborative basée sur Apache Spark.
  • La documentation Azure Event Hubs est une plateforme de streaming de Big Data et un service d’ingestion d’événements.
  • Azure Cosmos DB est un service de base de données multimodèle distribué à l’échelle mondiale. Apprenez ensuite à répliquer vos données sur autant de régions Azure que vous le souhaitez, et à mettre à l’échelle votre débit indépendamment de votre stockage.
  • Azure Synapse Link pour Azure Cosmos DB vous permet d’effectuer de l’analytique en quasi temps réel sur les données opérationnelles dans Azure Cosmos DB, sans aucun impact en termes de perfomances ou de coûts sur votre charge de travail transactionnelle, en utilisant les deux moteurs d’analytique disponibles depuis votre espace de travail Azure Synapse : SQL Serverless et des pools Spark.
  • Azure Analysis Services est une analyse de niveau entreprise en tant que service qui vous permet de gérer, déployer, tester et fournir votre solution décisionnelle en toute confiance.
  • Power BI est une suite d’outils d’analytique métier qui fournit des insights à l’échelle de votre organisation. Connectez-vous à des centaines de sources de données, simplifiez la préparation des données et effectuez des analyses non planifiées. Créez de superbes rapports, puis publiez-les pour que votre organisation les utilise sur le web et sur des appareils mobiles.

Autres solutions

  • Synapse Link est la solution Microsoft par défaut pour l’analyse des données Cosmos DB.

Tarifs

Étapes suivantes