Análise em Tempo Real na Arquitetura de Macrodados

Analysis Services
Hubs de Eventos
Synapse Analytics

Ideia de solução

Se quiser ver-nos expandir este artigo com mais informações, detalhes de implementação, orientação de preços ou exemplos de código, informe-nos com o Feedback do GitHub!

Obtenha informações de dados de streaming ao vivo com facilidade. Capturar dados continuamente a partir de qualquer dispositivo IoT, ou registos a partir de clickstreams do site, e processá-los em tempo quase real.

Arquitetura

Diagrama de uma análise em tempo real sobre a arquitetura de big data usando Azure Synapse Analytics com Azure Data Lake Armazenamento Gen2, Event Hub, Azure Analysis Services, Azure Cosmos DB, e Power BI.

Faça o download de um SVG desta arquitetura.

Fluxo de Dados

  1. Ingerir facilmente dados de streaming ao vivo para uma aplicação utilizando hubs de eventos Azure.
  2. Reúna todos os seus dados estruturados utilizando os Oleodutos Synapse para a Armazenamento da Blob Azure.
  3. Aproveite as piscinas Apache Spark para limpar, transformar e analisar os dados de streaming, e combiná-los com dados estruturados de bases de dados operacionais ou armazéns de dados.
  4. Use técnicas escaláveis de aprendizagem automática/aprendizagem profunda, para obter insights mais profundos a partir destes dados, utilizando Python, Scala ou .NET, com experiências de cadernos em piscinas Apache Spark.
  5. Aplique o conjunto Apache Spark e os Oleodutos Synapse em Azure Synapse Analytics para aceder e mover dados em escala.
  6. Construa dashboards de análise e relatórios incorporados em SQL dedicados para partilhar insights dentro da sua organização e usar os Serviços de Análise Azure para servir estes dados a milhares de utilizadores.
  7. Leve as ideias das piscinas Apache Spark para a Cosmos DB para torná-las acessíveis através de aplicações em tempo real.

Componentes

  • A Azure Synapse Analytics é o rápido, flexível e confiável armazém de dados em nuvem que permite escalar, calcular e armazenar elasticamente e de forma independente, com uma arquitetura de processamento massivamente paralela.
  • A documentação dos pipelines de sinapse permite-lhe criar, programar e orquestrar os seus fluxos de trabalho ETL/ELT.
  • Azure Data Lake Armazenamento: Funcionalidade massivamente escalável e segura do lago de dados construído em Azure Blob Armazenamento
  • As piscinas Azure Synapse Analytics Spark são uma plataforma de análise rápida, fácil e colaborativa baseada em Apache Spark.
  • A Azure Azure Event Hubs Documentation é uma plataforma de streaming de dados e serviço de ingestão de eventos.
  • Azure Cosmos DB é um serviço de base de dados multi-modelo distribuído globalmente. Em seguida, aprenda a replicar os seus dados em várias regiões do Azure e dimensione a sua produção independente do seu armazenamento.
  • A Azure Analysis Services é uma análise de nível empresarial como um serviço que lhe permite governar, implementar, testar e entregar a sua solução de BI com confiança.
  • Power BI é um conjunto de ferramentas de análise de negócios que fornecem insights em toda a sua organização. Ligação a centenas de fontes de dados, simplificar a preparação de dados e impulsionar análises não planeadas. Produza relatórios bonitos e, em seguida, publique-os para que a sua organização consuma na web e em dispositivos móveis.

Passos seguintes

Calculadora de preços