Ideas de solución
Este artículo es una idea de solución. Si te gustaría que ampliemos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comunícalo a través de los Comentarios de GitHub.
Esta idea de solución describe cómo puede obtener información a partir de datos de streaming en vivo. Capture datos de forma continua de cualquier dispositivo IoT o registros de secuencias de clics de sitios web, y procéselos casi en tiempo real.
Architecture
Descargue un archivo Visio de esta arquitectura.
Flujo de datos
- Ingiera fácilmente datos de streaming en vivo para una aplicación mediante Azure Event Hubs.
- Reúna todos los datos estructurados mediante canalizaciones de Synapse en Azure Blob Storage.
- Aproveche las ventajas de los grupos de Apache Spark para limpiar, transformar y analizar los datos de streaming y combinarlos con datos estructurados de bases de datos o almacenamientos de datos de operaciones.
- Use técnicas de aprendizaje profundo y aprendizaje automático escalables para obtener información más detallada de estos datos mediante Python, Scala o .NET, con las experiencias de cuadernos de los grupos de Apache Spark.
- Aplique los grupos de Apache Spark y las canalizaciones de Synapse en Azure Synapse Analytics para acceder a los datos y mover los datos a gran escala.
- Cree paneles analíticos e informes insertados en un grupo de SQL dedicado para compartir información en la organización y usar Azure Analysis Services para proporcionar estos datos a miles de usuarios.
- Traslade la información de los grupos de Apache Spark a Azure Cosmos DB para que sean accesible mediante aplicaciones en tiempo real.
Componentes
- Azure Synapse Analytics es un almacenamiento de datos en la nube rápido, flexible y de confianza que le permite escalar, procesar y almacenar de forma elástica e independiente, con una arquitectura de procesamiento en paralelo masivo.
- La documentación de canalizaciones de Synapse le permiten crear, programar y organizar los flujos de trabajo de ETL/ELT.
- Azure Data Lake Storage: Funcionalidad de Data Lake segura y muy escalable creada sobre Azure Blob Storage
- Los grupos de Spark de Azure Synapse Analytics son una plataforma de análisis rápida, sencilla y colaborativa basada en Apache Spark.
- Azure Event Hubs es una plataforma de streaming de macrodatos y un servicio de ingesta de eventos.
- Azure Cosmos DB es un servicio de base de datos multimodelo distribuido globalmente. A continuación, aprenda a replicar los datos en varias regiones de Azure y a escalar el rendimiento independientemente del almacenamiento.
- Azure Synapse Link para Azure Cosmos DB permite ejecutar análisis casi en tiempo real de datos operativos en Azure Cosmos DB, sin que ello afecte al rendimiento o al costo en la carga de trabajo transaccional, mediante los dos motores de análisis disponibles en el área de trabajo de Azure Synapse: SQL sin servidor y grupos de Spark.
- Azure Analysis Services es un análisis de nivel empresarial como servicio que le permite gobernar, implementar, probar y proporcionar su solución de BI con confianza.
- Power BI es un conjunto de herramientas de análisis empresarial que proporciona información detallada acerca de toda la organización. Conéctese a cientos de orígenes de datos, simplifique la preparación de los datos y realice análisis no planeados. Cree informes atractivos y publíquelos en la organización para que se usen en la web y en los dispositivos móviles.
Alternativas
- Synapse Link es la solución de Microsoft que se prefiere para el análisis de datos de Azure Cosmos DB.
- Azure IoT Hub se puede usar en lugar de Azure Event Hubs. IoT Hub es un servicio administrado, hospedado en la nube, que actúa como centro de mensajes para la comunicación entre una aplicación de IoT y los dispositivos conectados. Puede conectar millones de dispositivos y sus soluciones de back-end con confianza y de forma segura. La mayoría de los dispositivos se pueden conectar a un centro de IoT.
Detalles del escenario
En este escenario se muestra cómo puede obtener información a partir de datos de streaming en vivo. Puede capturar datos de forma continua de cualquier dispositivo IoT o registros de secuencias de clics de sitios web, y procéselos casi en tiempo real.
Posibles casos de uso
Esta solución es idónea para el sector de multimedia y de entretenimiento. El escenario es la creación de análisis a partir de datos de streaming en vivo.
Consideraciones
Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.
Optimización de costos
La optimización de costos trata de buscar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para más información, vea Información general del pilar de optimización de costos.
Puede usar la calculadora de precios de Azure para obtener una estimación de precios personalizada.
Pasos siguientes
- Documentación de Azure Synapse Analytics
- Documentación de las canalizaciones de Synapse
- Documentación de Azure Data Lake Storage
- Azure Data Explorer
- Grupos de Spark de Azure Synapse Analytics
- Documentación de Azure Event Hubs
- Documentación sobre Azure Cosmos DB
- Documentación de Analysis Services
- Documentación de Power BI