Análisis de IoT con Azure Data Explorer

Esta idea de solución muestra el análisis casi en tiempo real de un gran volumen de datos de streaming que fluyen a gran velocidad de dispositivos IoT, sensores, vehículos y edificios conectados, etc. Se centra en la integración de Azure Data Explorer con otros servicios de IoT para satisfacer las cargas de trabajo de análisis y de operaciones mediante Cosmos DB y Azure Data Explorer.

Los clientes de Microsoft ya usan esta solución para el análisis de telemetría de dispositivos IoT. Por ejemplo, Bosch la usa para combinar el estado de la carretera en tiempo real con datos meteorológicos para lograr una conducción autónoma más segura.

Arquitectura

Flujo de datos

1. Ingiera una amplia variedad de datos de streaming de flujo rápido como registros, eventos de negocio y actividades de usuario de diversos orígenes, como Azure Event Hub, Azure IoT Hub o Kafka.
2. Procese datos en tiempo real mediante Azure Functions o Azure Stream Analytics.
3. Almacene en Cosmos DB mensajes JSON transmitidos para atender una aplicación operativa en tiempo real.
4. Ingiera datos en Azure Data Explorer con baja latencia y un rendimiento elevado mediante sus conectores paraAzure Event Hub, Azure IoT Hub y Kafka, entre otros. Como alternativa, ingiera los datos con Azure Storage (Blob o ADLS Gen2), que usa Azure Event Grid y desencadena la canalización de la ingesta en Azure Data Explorer. También puede exportar los datos continuamente a Azure Storage en formato Parquet comprimido con particiones y consultar con facilidad esos datos como se detalla en la introducción a la exportación continua de datos.
5. Azure Data Explorer es un almacén de análisis de macrodatos para servir aplicaciones y paneles de análisis casi en tiempo real. Dado que este patrón sirve a los casos de uso analítico y operativo, los datos se pueden enrutar a Azure Data Explorer y Cosmos DB en paralelo, o de Cosmos DB a Azure Data Explorer.
   • Integre Cosmos DB con Azure Data Explorer mediante la fuente de cambios. Todas las transacciones de Cosmos DB pueden desencadenar una función de Azure a través de esta fuente de cambios. Luego, los datos se pueden transmitir a Event Hub e ingerir en Azure Data Explorer.
   • Desde Azure Functions, invoque las API de Azure Digital Twins (ADT). ADT se usa para almacenar modelos digitales de entornos físicos. Este servicio transmite datos a Event Hubs, que posteriormente se ingieren en Azure Data Explorer.
6. Obtenga información de los datos almacenados en Azure Data Explorer por cualquiera de los métodos siguientes:
   • Cree una aplicación de análisis personalizada que invoque las API que exponen ADT y Azure Data Explorer para combinar los datos de ambos orígenes.
   • Cree paneles de análisis casi en tiempo real con paneles de Azure Data Explorer, Power BI o Grafana.
   • Cree y programe alertas y notificaciones mediante el conector de Azure Data Explorer para Azure Logic Apps.
   • Analice los datos mediante la interfaz de usuario web de Azure Data Explorer, Kusto.Explorer o cuadernos de Jupyter Notebook.
7. Azure Data Explorer proporciona funcionalidades de análisis avanzado nativas para el análisis de series temporales, reconocimiento de patrones, detección de anomalías y previsiones y aprendizaje automático. Azure Data Explorer también está perfectamente integrado con los servicios de Machine Learning, como Databricks y Azure Machine Learning. Esta integración le permite crear modelos con otras herramientas y servicios, y exportar los modelos de Machine Learning a Azure Data Explorer para puntuar los datos.

Componentes

• Azure Event Hub: servicio de ingesta de datos en tiempo real y totalmente administrado simple, confiable y escalable.
• Azure IoT Hub: servicio administrado para habilitar la comunicación bidireccional entre los dispositivos de IoT y Azure.
• Kafka en HDInsight: servicio rentable y sencillo de nivel empresarial para el análisis de código abierto con Apache Kafka.
• Azure Cosmos DB: servicio de base de datos NoSQL rápido y totalmente administrado para el desarrollo de aplicaciones modernas con API abiertas para cualquier escala.
• Azure Synapse Link para Azure Cosmos DB permite ejecutar análisis casi en tiempo real de datos operativos en Azure Cosmos DB, sin que ello afecte al rendimiento o al costo en la carga de trabajo transaccional, mediante los dos motores de análisis disponibles en el área de trabajo de Azure Synapse: SQL sin servidor y grupos de Spark.
• Azure Data Explorer: servicio de análisis de datos rápido, totalmente administrado y muy escalable para el análisis en tiempo real de grandes volúmenes de datos de que se transmiten en secuencias desde aplicaciones, sitios Web, dispositivos IoT, etc.
• Paneles de Azure Data Explorer: exporte de forma nativa las consultas de Kusto que se exploraron en la interfaz de usuario Web a los paneles optimizados.
• Azure Digital Twins: Cree soluciones de IoT de próxima generación que modelen el mundo real.

Alternativas

• Synapse Link es la solución de Microsoft preferida para el análisis de datos de Cosmos DB.

Pasos siguientes

Para más información, consulte la documentación de Azure Data Explorer.