Análisis en tiempo real en la arquitectura de macrodatosReal Time Analytics on Big Data Architecture

Idea de la solución Solution Idea

Si desea verlos, amplíe este artículo con más información (detalles de implementación, guía de precios, ejemplos de código, etc.), háganoslo saber con comentarios de github.If you'd like to see us expand this article with more information (implementation details, pricing guidance, code examples, etc), let us know with GitHub Feedback!

Obtenga información de los datos de streaming en vivo con facilidad.Get insights from live streaming data with ease. Capture datos de forma continua desde cualquier dispositivo IoT o registros desde el sitio web clics, y proceselos casi en tiempo real.Capture data continuously from any IoT device, or logs from website clickstreams, and process it in near-real time.

ArquitecturaArchitecture

Diagrama de arquitectura Descargue un SVG de esta arquitectura.Architecture Diagram Download an SVG of this architecture.

Data FlowData Flow

  1. Ingesta de datos de streaming en vivo para una aplicación mediante Apache Kafka clúster en Azure HDInsight.Easily ingest live streaming data for an application using Apache Kafka cluster in Azure HDInsight.
  2. Reúna todos los datos estructurados mediante Azure Data Factory para Azure Blob Storage.Bring together all your structured data using Azure Data Factory to Azure Blob Storage.
  3. Aproveche las ventajas de Azure Databricks para limpiar, transformar y analizar los datos de streaming, y combinarlos con datos estructurados de bases de datos o almacenes de datos operativos.Take advantage of Azure Databricks to clean, transform, and analyze the streaming data, and combine it with structured data from operational databases or data warehouses.
  4. Utilice técnicas de aprendizaje profundo y aprendizaje automático escalables para obtener información más detallada de estos datos mediante Python, R o Scala, con experiencias de Notebook integradas en Azure Databricks.Use scalable machine learning/deep learning techniques, to derive deeper insights from this data using Python, R or Scala, with inbuilt notebook experiences in Azure Databricks.
  5. Aproveche los conectores nativos entre Azure Databricks y Azure Synapse Analytics para acceder a los datos y transferirlos a escala.Leverage native connectors between Azure Databricks and Azure Synapse Analytics to access and move data at scale.
  6. Cree paneles analíticos e informes incrustados sobre Azure data warehouse para compartir información en su organización y usar Azure Analysis Services para atender estos datos a miles de usuarios.Build analytical dashboards and embedded reports on top of Azure Data Warehouse to share insights within your organization and use Azure Analysis Services to serve this data to thousands of users.
  7. Los usuarios avanzados aprovechan las capacidades integradas de Azure Databricks y Azure HDInsight para realizar la determinación de la causa principal y el análisis de datos sin procesar.Power users take advantage of the inbuilt capabilities of Azure Databricks and Azure HDInsight to perform root cause determination and raw data analysis.
  8. Tome la información de Azure Databricks a Cosmos DB para que sea accesible a través de aplicaciones en tiempo real.Take the insights from Azure Databricks to Cosmos DB to make them accessible through real time apps.

ComponentesComponents

  • Azure Synapse Analytics es el almacenamiento de datos en la nube rápido, flexible y de confianza que le permite escalar, calcular y almacenar de forma elástica e independiente, con una arquitectura de procesamiento paralelo masivo.Azure Synapse Analytics is the fast, flexible and trusted cloud data warehouse that lets you scale, compute and store elastically and independently, with a massively parallel processing architecture.
  • Azure Data Factory es un servicio de integración de datos híbridos que permite crear, programar y organizar flujos de trabajo ETL/ELT.Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage: funcionalidad de Data Lake segura y escalable de forma masiva basada en Azure BLOB StorageAzure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks es una plataforma de análisis rápida, sencilla y colaborativa basada en Apache Spark.Azure Databricks is a fast, easy, and collaborative Apache Spark-based analytics platform.
  • Azure HDInsight es un servicio de análisis de código abierto de espectro completo totalmente administrado para marcos de código abierto populares, como Hadoop, Spark, HIVE, LLAP, Kafka, Storm, R & más.Azure HDInsight is a fully managed, full spectrum open-source analytics service for popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R & more.
  • Azure Cosmos DB es un servicio de base de datos multimodelo distribuido globalmente.Azure Cosmos DB is a globally distributed, multi-model database service. A continuación, aprenda a replicar los datos en cualquier número de regiones de Azure y a escalar el rendimiento independientemente del almacenamiento.Then learn how to replicate your data across any number of Azure regions and scale your throughput independent from your storage.
  • Azure Analysis Services es un servicio de análisis de nivel empresarial que le permite regir, implementar, probar y proporcionar su solución de BI con confianza.Azure Analysis Services is an enterprise grade analytics as a service that lets you govern, deploy, test, and deliver your BI solution with confidence.
  • Power BI es un conjunto de herramientas de análisis empresarial que proporciona información detallada acerca de toda la organización.Power BI is a suite of business analytics tools that deliver insights throughout your organization. Conéctese a cientos de orígenes de datos, simplifique la preparación de los datos y realice análisis ad hoc.Connect to hundreds of data sources, simplify data prep, and drive ad hoc analysis. Cree informes atractivos y publíquelos en la organización para que los consuma en la web y en dispositivos móviles.Produce beautiful reports, then publish them for your organization to consume on the web and across mobile devices.

Pasos siguientesNext steps

Calculadora de preciosPricing Calculator