Editar

Análise de macrodados com o Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Ideias de solução

Este artigo é uma ideia de solução. Se quiser que expandamos o conteúdo com mais informações, como potenciais casos de utilização, serviços alternativos, considerações de implementação ou orientação de preços, informe-nos ao fornecer feedback do GitHub.

Esta ideia de solução demonstra a análise de macrodados sobre grandes volumes de dados de alta velocidade de várias origens.

O Apache® e o Apache Kafka® são marcas registadas ou marcas registadas da Apache Software Foundation no Estados Unidos e/ou noutros países. A utilização destas marcas não implica o endosso da Apache Software Foundation.

Arquitetura

Diagrama a mostrar a análise de macrodados com o Azure Data Explorer.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de dados

  1. Os dados estruturados, semiestruturados e não estruturados (texto livre), como qualquer tipo de registos, eventos empresariais e atividades de utilizador, podem ser ingeridos no Azure Data Explorer de várias origens.
  2. Ingerir dados no Azure Data Explorer com baixa latência e débito elevado com os conectores para Azure Data Factory, Hubs de Eventos do Azure, Hub IoT do Azure, Kafka, etc. Em alternativa, ingira dados através do Armazenamento do Azure (Blob ou ADLS Gen2), que utiliza Azure Event Grid e aciona o pipeline de ingestão para o Azure Data Explorer. Também pode exportar continuamente dados para o Armazenamento do Azure em formato parquet comprimido e particionado e consultar esses dados de forma totalmente integrada, conforme detalhado na Descrição geral da exportação contínua de dados.
  3. Exporte dados pré-agregados do Azure Data Explorer para o Armazenamento do Azure e, em seguida, ingira os dados no Synapse Analytics para criar modelos e relatórios de dados.
  4. Utilize as capacidades nativas do Azure Data Explorer para processar, agregar e analisar dados. Para obter informações a uma velocidade relâmpago, crie dashboards de análise quase em tempo real com o Azure Data Explorer dashboards, o Power BI, o Grafana ou outras ferramentas. Utilize o Azure Synapse Analytics para criar um armazém de dados moderno e combiná-lo com os dados do Azure Data Explorer para gerar relatórios de BI em modelos de dados organizados e agregados.
  5. O Azure Data Explorer fornece capacidades de análise avançada nativas para análise de série temporal, reconhecimento de padrões, deteção e previsão de anomalias e machine learning. O Azure Data Explorer também está bem integrado com serviços ML, como o Databricks e o Azure Machine Learning. Esta integração permite-lhe criar modelos com outras ferramentas e serviços e exportar modelos de ML para o Azure Data Explorer para obter dados de classificação.

Componentes

  • Hubs de Eventos do Azure: serviço de ingestão de dados totalmente gerido e em tempo real simples, fidedigno e dimensionável.
  • Hub IoT do Azure: serviço gerido para ativar a comunicação bidirecional entre dispositivos IoT e o Azure.
  • Kafka no HDInsight: serviço fácil, económico e de nível empresarial para análise de open source com o Apache Kafka.
  • Azure Data Explorer: serviço de análise de dados rápido, totalmente gerido e altamente dimensionável para análise em tempo real em grandes volumes de transmissão de dados de aplicações, sites, dispositivos IoT e muito mais.
  • Dashboards do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na IU da Web para dashboards otimizados.
  • Azure Synapse Analytics: serviço de análise que reúne armazenamento de dados empresariais e análise de Macrodados.

Detalhes do cenário

Potenciais casos de utilização

Esta solução ilustra como o Azure Data Explorer e o Azure Synapse Analytics se complementam para análises quase em tempo real e casos de utilização de armazenamento de dados modernos.

Esta solução já está a ser utilizada pelos clientes microsoft. Por exemplo, a empresa sediada em Singapura, Grab, implementou análises em tempo real sobre uma enorme quantidade de dados recolhidos dos seus serviços de entrega de táxis e alimentos, bem como aplicações de parceiros mercantes. A equipa da Grab apresentou a solução no MS Ignite neste vídeo (20:30 em diante). Com este padrão, o Grab processou mais de um bilião de eventos por dia.

Esta solução está otimizada para o setor de retalho.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuintes.

Autor principal:

Para ver perfis do LinkedIn não públicos, inicie sessão no LinkedIn.

Passos seguintes