Editar

Análisis de macrodatos con Azure Data Explorer

Explorador de datos de Azure
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Ideas de solución

Este artículo es una idea de solución. Si te gustaría que ampliemos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comunícalo a través de los Comentarios de GitHub.

Esta idea de solución muestra el análisis de macrodatos en grandes volúmenes de datos de alta velocidad procedentes de varios orígenes.

Apache® y Apache Kafka® son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos u otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Architecture

Diagrama que muestra el análisis de macrodatos con Azure Data Explorer.

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

  1. Los datos estructurados, semiestructurados y no estructurados (texto sin formato), como son los registros de todo tipo, los eventos de negocio y las actividades de usuario, se pueden ingerir en Azure Data Explorer desde varios orígenes.
  2. Ingiera los datos en Azure Data Explorer con baja latencia y un rendimiento elevado mediante sus conectores para Azure Data Factory, Azure Event Hubs, Azure IoT Hub o Kafka, entre otros. Como alternativa, ingiera los datos con Azure Storage (Blob o ADLS Gen2), que usa Azure Event Grid y desencadena la canalización de la ingesta en Azure Data Explorer. También puede exportar los datos continuamente a Azure Storage en formato Parquet comprimido con particiones y consultar con facilidad esos datos como se detalla en la información general de la exportación continua de datos.
  3. Exporte los datos agregados previamente desde Azure Data Explorer a Azure Storage y, después, ingiera los datos en Synapse Analytics para crear modelos de datos e informes.
  4. Use las funcionalidades nativas de Azure Data Explorer para procesar los datos, agregarlos y analizarlos. Para obtener información detallada a gran velocidad, cree paneles de análisis casi en tiempo real con paneles de Azure Data Explorer, Power BI, Grafana u otras herramientas. Use Azure Synapse Analytics para crear un almacenamiento de datos moderno y combinarlo con los datos de Azure Data Explorer a fin de generar informes de BI en modelos de datos agregados y perfeccionados.
  5. Azure Data Explorer proporciona funcionalidades de análisis avanzado nativas para análisis de series temporales, reconocimiento de patrones, detección de anomalías y previsiones y aprendizaje automático. Azure Data Explorer también está bien integrado con los servicios de Machine Learning, como Databricks y Azure Machine Learning. Esta integración le permite crear modelos con otras herramientas y servicios, y exportar los modelos de aprendizaje automático a Azure Data Explorer para puntuar los datos.

Componentes

  • Azure Event Hubs: un servicio de ingesta de datos en tiempo real y totalmente administrado que es simple, de confianza y escalable.
  • Azure IoT Hub: servicio administrado para habilitar la comunicación bidireccional entre los dispositivos de IoT y Azure.
  • Kafka en HDInsight: servicio rentable y sencillo de nivel empresarial para el análisis de código abierto con Apache Kafka.
  • Azure Data Explorer: servicio de análisis de datos rápido, totalmente administrado y muy escalable para el análisis en tiempo real de grandes volúmenes de datos de que se transmiten en secuencias desde aplicaciones, sitios Web, dispositivos IoT, etc.
  • Paneles de Azure Data Explorer: exporte de forma nativa las consultas de Kusto que se exploraron en la interfaz de usuario Web a los paneles optimizados.
  • Azure Synapse Analytics: servicio de análisis que engloba el almacenamiento de datos empresariales y el análisis de macrodatos.

Detalles del escenario

Posibles casos de uso

Esta solución ilustra el modo en que Azure Data Explorer y Azure Synapse Analytics se complementan para el análisis casi en tiempo real y los casos de uso de almacenamiento de datos modernos.

Los clientes de Microsoft ya usan esta solución. Por ejemplo, la empresa de alquiler de vehículos con conductor de Singapur Grab implementó el análisis en tiempo real sobre una enorme cantidad de datos recopilados en sus servicios de entrega de comida y taxi, así como de aplicaciones de sus asociados comerciales. El equipo de Grab presentó su solución en MS Ignite en este vídeo (20:30 en adelante). Con este patrón, Grab procesó más de un billón de eventos al día.

Esta solución está optimizada para el sector minorista.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes