Análisis en tiempo real en la arquitectura de macrodatos

Analysis Services
Event Hubs
Synapse Analytics

Idea de solución

Si le gustaría que expandamos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comuníquese a través de los Comentarios de GitHub.

Obtenga información de los datos de streaming en vivo con facilidad. Capture datos de forma continua de cualquier dispositivo IoT o registros de secuencias de clics de sitios web, y procéselos casi en tiempo real.

Architecture

Diagrama de una arquitectura de análisis en tiempo real de macrodatos mediante Azure Synapse Analytics con Azure Data Lake Storage Gen2, Event Hubs, Azure Analysis Services, Azure Cosmos DB y Power BI.

Descargue un SVG de esta arquitectura.

Flujo de datos

  1. Ingiera fácilmente datos de streaming en vivo para una aplicación mediante Azure Event Hubs.
  2. Reúna todos los datos estructurados mediante canalizaciones de Synapse en Azure Blob Storage.
  3. Aproveche las ventajas de los grupos de Apache Spark para limpiar, transformar y analizar los datos de streaming y combinarlos con datos estructurados de bases de datos o almacenamientos de datos de operaciones.
  4. Use técnicas de aprendizaje profundo y aprendizaje automático escalables para obtener información más detallada de estos datos mediante Python, Scala o .NET, con las experiencias de cuadernos de los grupos de Apache Spark.
  5. Aplique los grupos de Apache Spark y las canalizaciones de Synapse en Azure Synapse Analytics para acceder a los datos y mover los datos a gran escala.
  6. Cree paneles analíticos e informes insertados en un grupo de SQL dedicado para compartir información en la organización y usar Azure Analysis Services para proporcionar estos datos a miles de usuarios.
  7. Traslade la información de los grupos de Apache Spark a Cosmos DB para que sea accesible mediante aplicaciones en tiempo real.

Componentes

  • Azure Synapse Analytics es un almacenamiento de datos en la nube rápido, flexible y de confianza que le permite escalar, procesar y almacenar de forma elástica e independiente, con una arquitectura de procesamiento en paralelo masivo.
  • La documentación de canalizaciones de Synapse le permiten crear, programar y organizar los flujos de trabajo de ETL/ELT.
  • Azure Data Lake Storage: Funcionalidad de Data Lake segura y muy escalable creada sobre Azure Blob Storage
  • Los grupos de Spark de Azure Synapse Analytics son una plataforma de análisis rápida, sencilla y colaborativa basada en Apache Spark.
  • Azure Event Hubs es una plataforma de streaming de macrodatos y un servicio de ingesta de eventos.
  • Azure Cosmos DB es un servicio de base de datos multimodelo distribuido globalmente. A continuación, aprenda a replicar los datos en varias regiones de Azure y a escalar el rendimiento independientemente del almacenamiento.
  • Azure Synapse Link para Azure Cosmos DB permite ejecutar análisis casi en tiempo real de datos operativos en Azure Cosmos DB, sin que ello afecte al rendimiento o al costo en la carga de trabajo transaccional, mediante los dos motores de análisis disponibles en el área de trabajo de Azure Synapse: SQL sin servidor y grupos de Spark.
  • Azure Analysis Services es un análisis de nivel empresarial como servicio que le permite gobernar, implementar, probar y proporcionar su solución de BI con confianza.
  • Power BI es un conjunto de herramientas de análisis empresarial que proporciona información detallada acerca de toda la organización. Conéctese a cientos de orígenes de datos, simplifique la preparación de los datos y realice análisis no planeados. Cree informes atractivos y publíquelos en la organización para que se usen en la web y en los dispositivos móviles.

Alternativas

  • Synapse Link es la solución de Microsoft preferida para el análisis de datos de Cosmos DB.

Precios

Pasos siguientes