Architecture d’analytique en temps réel du Big Data

Analysis Services
Data Factory
Databricks
HDInsight
Synapse Analytics

Idée de solution Solution Idea

Si vous souhaitez nous voir développer cet article avec d’autres informations, les détails de l’implémentation, le guide de tarification ou des exemples de code, faites-le-nous savoir avec les Commentaires de GitHub !If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Obtenez facilement des insights à partir de données de streaming en direct.Get insights from live streaming data with ease. Capturez des données en continu à partir de n’importe quel appareil IoT ou de journaux de parcours de navigation sur le web, et traitez-les en quasi-temps réel.Capture data continuously from any IoT device, or logs from website clickstreams, and process it in near-real time.

ArchitectureArchitecture

Diagramme d’architecture Télécharger une SVG de cette architecture.Architecture Diagram Download an SVG of this architecture.

Data FlowData Flow

  1. Ingérez facilement les données de streaming en direct pour une application à l’aide d’un cluster Apache Kafka dans Azure HDInsight.Easily ingest live streaming data for an application using Apache Kafka cluster in Azure HDInsight.
  2. Rassemblez toutes vos données structurées à l’aide d’Azure Data Factory dans le service Stockage Blob Azure.Bring together all your structured data using Azure Data Factory to Azure Blob Storage.
  3. Tirez parti d’Azure Databricks pour nettoyer, transformer et analyser les données de streaming, et les combiner avec des données structurées de bases de données ou d’entrepôts de données opérationnels.Take advantage of Azure Databricks to clean, transform, and analyze the streaming data, and combine it with structured data from operational databases or data warehouses.
  4. Utilisez des techniques d’apprentissage approfondi et de Machine Learning évolutives pour obtenir des informations plus détaillées à partir de ces données à l’aide de Python, R ou Scala, avec des expériences de bloc-notes intégrées dans Azure Databricks.Use scalable machine learning/deep learning techniques, to derive deeper insights from this data using Python, R or Scala, with inbuilt notebook experiences in Azure Databricks.
  5. Tirez parti des connecteurs natifs entre Azure Databricks et Azure Synapse Analytics pour accéder aux données et les déplacer à l’échelle.Leverage native connectors between Azure Databricks and Azure Synapse Analytics to access and move data at scale.
  6. Créez des tableaux de bord analytiques et des rapports incorporés par dessus Azure Data Warehouse pour partager des insights au sein de votre organisation, et utilisez Azure Analysis Services pour servir ces données à des milliers d’utilisateurs.Build analytical dashboards and embedded reports on top of Azure Data Warehouse to share insights within your organization and use Azure Analysis Services to serve this data to thousands of users.
  7. Les utilisateurs avancés tirent parti des fonctionnalités intégrées d’Azure Databricks et d’Azure HDInsight pour effectuer déterminer la cause racine et analyser des données brutes.Power users take advantage of the inbuilt capabilities of Azure Databricks and Azure HDInsight to perform root cause determination and raw data analysis.
  8. Exportez les insights d’Azure Databricks vers Cosmos DB afin de les rendre accessibles via des applications en temps réel.Take the insights from Azure Databricks to Cosmos DB to make them accessible through real time apps.

ComponentsComponents

  • Azure Synapse Analytics est l’entrepôt de données cloud rapide, flexible et fiable qui vous permet de mettre à l’échelle, de calculer et de stocker des données élastiques et indépendantes, avec une architecture de traitement massivement parallèle.Azure Synapse Analytics is the fast, flexible and trusted cloud data warehouse that lets you scale, compute and store elastically and independently, with a massively parallel processing architecture.
  • Azure Data Factory est un service d’intégration de données hybride qui vous permet de créer, de planifier et d’orchestrer vos flux de travail ETL/ELT.Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage : Fonctionnalité de lac de données sécurisée et extrêmement scalable qui repose sur le Stockage Blob AzureAzure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks est une plateforme d’analyse rapide, simple et collaborative basée sur Apache Spark.Azure Databricks is a fast, easy, and collaborative Apache Spark-based analytics platform.
  • Azure HDInsight est un service d’analytique open source complet entièrement géré pour des infrastructures open source populaires, telles que Hadoop, Spark, Hive, LLAP, Kafka, Storm, R et autres.Azure HDInsight is a fully managed, full spectrum open-source analytics service for popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R & more.
  • Azure Cosmos DB est un service de base de données multimodèle distribué à l’échelle mondiale.Azure Cosmos DB is a globally distributed, multi-model database service. Apprenez ensuite à répliquer vos données sur autant de régions Azure que vous le souhaitez, et à mettre à l’échelle votre débit indépendamment de votre stockage.Then learn how to replicate your data across any number of Azure regions and scale your throughput independent from your storage.
  • Azure Analysis Services est une analyse de niveau entreprise en tant que service qui vous permet de gérer, déployer, tester et fournir votre solution décisionnelle en toute confiance.Azure Analysis Services is an enterprise grade analytics as a service that lets you govern, deploy, test, and deliver your BI solution with confidence.
  • Power BI est une suite d’outils d’analytique métier qui fournit des insights à l’échelle de votre organisation.Power BI is a suite of business analytics tools that deliver insights throughout your organization. Connectez-vous à des centaines de sources de données, simplifiez la préparation des données et menez des analyses ad hoc.Connect to hundreds of data sources, simplify data prep, and drive ad hoc analysis. Créez de superbes rapports, puis publiez-les pour que votre organisation les utilise sur le web et sur des appareils mobiles.Produce beautiful reports, then publish them for your organization to consume on the web and across mobile devices.

Étapes suivantesNext steps

Calculatrice de prixPricing Calculator