Análise em tempo real na arquitetura de Big Data

Azure Analysis Services
Hubs de eventos do Azure
Azure Synapse Analytics

Ideias de soluções

Esse artigo é uma ideia de solução. Caso deseje que ampliemos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco enviando seus comentários no GitHub.

Esta ideia de solução descreve como você pode obter insights de dados de transmissão ao vivo. Capture dados continuamente de qualquer dispositivo IoT ou logs de sequência de cliques do site e processe-os em tempo quase real.

Arquitetura

Diagrama de uma solução de análise em tempo real em uma arquitetura de big data que usa o Azure Synapse Analytics com o Armazenamento do Azure Data Lake, Hubs de Eventos, Azure Analysis Services, Azure Cosmos DB e Power BI.

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

  1. Ingerir facilmente dados de transmissão ao vivo para um aplicativo, usando os Hubs de Eventos do Azure.
  2. Reúna todos os seus dados estruturados usando o Synapse Pipelines para o Armazenamento de Blobs do Azure.
  3. Aproveite os pools do Apache Spark para limpar, transformar e analisar os dados de streaming e combiná-los com dados estruturados de bancos de dados operacionais ou data warehouses.
  4. Use técnicas escalonáveis de aprendizado de máquina/aprendizado profundo para obter insights mais profundos desses dados, usando Python, Scala ou .NET, com experiências de bloco de anotações em pools do Apache Spark.
  5. Aplique o pool do Apache Spark e os Pipelines Synapse no Azure Synapse Analytics para acessar e mover dados em escala.
  6. Crie painéis de análise e relatórios incorporados no pool SQL dedicado para compartilhar insights em sua organização e use o Azure Analysis Services para fornecer esses dados a milhares de usuários.
  7. Leve os insights dos pools do Apache Spark para o Azure Cosmos DB para torná-los acessíveis por meio de aplicativos em tempo real.

Componentes

  • O Azure Synapse Analytics é um data warehouse de nuvem rápido, flexível e confiável que permite dimensionar, computar e armazenar de forma elástica e independente, com uma arquitetura de processamento massivamente paralela.
  • A documentação do Synapse Pipelines permite criar, programar e orquestrar seus fluxos de trabalho de ETL/ELT.
  • Armazenamento do Azure Data Lake: funcionalidade de data lake massivamente escalonável e segura criada no Armazenamento de Blobs do Azure
  • Os pools do Azure Synapse Analytics Spark são uma plataforma de análise rápida, fácil e colaborativa baseada no Apache Spark.
  • A Documentação dos Hubs de Eventos do Azure é uma plataforma de streaming de big data e um serviço de ingestão de eventos.
  • O Azure Cosmos DB é um serviço de banco de dados multimodelo globalmente distribuído. Saiba como replicar dados em qualquer número de regiões do Azure e dimensionar a produtividade independentemente do armazenamento.
  • O Link do Azure Synapse para o Azure Cosmos DB permite executar análises quase em tempo real em dados operacionais no Azure Cosmos DB, sem nenhum impacto de desempenho ou custo em sua carga de trabalho transacional, usando os dois mecanismos de análise disponíveis no espaço de trabalho do Azure Synapse: SQL Sem servidor e Pools do Spark.
  • O Azure Analysis Services é uma análise de nível empresarial como um serviço que permite controlar, implantar, testar e entregar sua solução de BI com confiança.
  • O Power BI é um pacote de ferramentas de análise de negócios que fornece insights a toda a organização. Conecte-se a centenas de fontes de dados, simplifique a preparação de dados e conduza a análise não planejada. Produza belos relatórios e, em seguida, publique-os para que sua organização consuma na Web e em dispositivos móveis.

Alternativas

  • O Synapse Link é a solução preferida da Microsoft para análise sobre os dados do Azure Cosmos DB.
  • O Hub IoT do Azure pode ser usado em vez dos Hubs de Eventos do Azure. O Hub IoT é um serviço gerenciado hospedado na nuvem que atua como um hub central de mensagens para comunicação entre um aplicativo de IoT e os dispositivos anexados a ele. Você pode conectar milhões de dispositivos e suas soluções de back-end de maneira confiável e segura. Quase todos os dispositivos podem ser conectados a um hub IoT.

Detalhes do cenário

Este cenário ilustra como você pode obter insights de dados de transmissão ao vivo. Você pode capturar dados continuamente de qualquer dispositivo IoT ou logs de fluxos de cliques de sites e processá-los quase em tempo real.

Possíveis casos de uso

Esta solução é ideal para a indústria de mídia e entretenimento. O cenário é para criar análises a partir de dados de transmissão ao vivo.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.

Otimização de custo

A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.

Você pode usar a calculadora de preços do Azure para obter uma estimativa de preços personalizada.

Próximas etapas