Arquitetura de data warehouse empresarial

Armazenamento de Blobs
Data Lake
Synapse Analytics

Ideia da solução

Se você quiser nos ver, expanda este artigo com mais informações, detalhes de implementação, diretrizes de preços ou exemplos de código, fale conosco com os comentários do GitHub!

Uma data warehouse empresarial permite reunir todos os seus dados em qualquer escala facilmente e obter informações por meio de painéis analíticos, relatórios operacionais ou análises avançadas para todos os seus usuários.

Arquitetura

Diagrama de arquitetura Baixe um SVG dessa arquitetura.

Fluxo de Dados

  1. Combine todos os seus dados estruturados, não estruturados e semiestruturados (logs, arquivos e mídia) usando pipelines do Azure Synapse Analytics para o armazenamento de BLOBs do Azure.
  2. Aproveite os dados no armazenamento de BLOBs do Azure para executar análises escalonáveis com o pool Spark do Azure Synapse Analytics e obter dados limpos e transformados.
  3. Os dados limpos e transformados podem ser combinados com dados estruturados existentes, criando um hub para todos os seus dados com o Azure Synapse Analytics.
  4. Crie relatórios operacionais e painéis analíticos sobre o pool SQL dedicado para obter informações dos dados e use Azure Analysis Services para atender a milhares de usuários finais.

Componentes

  • O Azure Synapse Analytics é a data warehouse de nuvem rápida, flexível e confiável que permite dimensionar, calcular e armazenar de forma elástica e independente, com uma arquitetura de processamento extremamente paralela.
  • A documentação de pipelines do Synapse permite criar, agendar e orquestrar seus fluxos de trabalho ETL/ELT.
  • O armazenamento de BLOBs do Azure é um armazenamento de objetos altamente escalonável para qualquer tipo de imagem de dados não estruturados, vídeos, áudio, documentos e de forma mais fácil e econômica.
  • Os pools do Spark do Azure Synapse Analytics são uma estrutura de processamento paralelo que dá suporte ao processamento na memória para melhorar o desempenho de aplicativos analíticos de Big Data.
  • Azure Analysis Services é uma análise de nível empresarial como um serviço que permite controlar, implantar, testar e entregar sua solução de BI com confiança.
  • O Power BI é um pacote de ferramentas de análise de negócios que fornece insights a toda a organização. Conecte-se a centenas de fontes de dados, simplifique a preparação dos dados e conduza análise ad hoc. Gere relatórios bonitos e, em seguida, publique-os para sua organização para consumir na Web e em dispositivos móveis.

Próximas etapas

Calculadora de Preço