Este cenário de exemplo demonstra um pipeline de dados que integra grandes quantidades de dados de várias fontes em uma plataforma de análise unificada no Azure. Esse cenário específico é baseado em uma solução de vendas e marketing, mas os padrões de design são relevantes para muitos setores que exigem análises avançadas de grandes conjuntos de dados, como comércio eletrônico, varejo e saúde.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Os dados fluem através da solução da seguinte forma:
- Para cada fonte de dados, todas as atualizações são exportadas periodicamente para uma área de preparo no Armazenamento do Azure Data Lake.
- O Azure Data Factory carrega incrementalmente os dados do Armazenamento Azure Data Lake em tabelas de preparo no Azure Synapse Analytics. Os dados são limpos e transformados durante este processo. O PolyBase pode paralelizar o processo para grandes conjuntos de dados.
- Depois de carregar um novo lote de dados no depósito, um modelo de tabela do Azure Analysis Services criado anteriormente é atualizado. Esse modelo semântico simplifica a análise de dados e relacionamentos de negócios.
- Os analistas de negócios usam o Microsoft Power BI para analisar dados armazenados por meio do modelo semântico do Analysis Services.
Componentes
A empresa tem fontes de dados em muitas plataformas diferentes:
- SQL Server no local
- Oracle local
- Base de Dados SQL do Azure
- Armazenamento de tabelas do Azure
- BD do Cosmos para o Azure
Os dados são carregados dessas diferentes fontes de dados usando vários componentes do Azure:
- O Armazenamento Azure Data Lake é usado para preparar dados de origem antes de serem carregados no Azure Synapse.
- O Data Factory orquestra a transformação de dados em estágios em uma estrutura comum no Azure Synapse. O Data Factory usa o PolyBase ao carregar dados no Azure Synapse para maximizar a taxa de transferência.
- O Azure Synapse é um sistema distribuído para armazenar e analisar grandes conjuntos de dados. Seu uso de processamento paralelo maciço (MPP) o torna adequado para executar análises de alto desempenho. O Azure Synapse pode usar o PolyBase para carregar rapidamente dados do Armazenamento do Azure Data Lake.
- O Analysis Services fornece um modelo semântico para seus dados. Ele também pode aumentar o desempenho do sistema ao analisar seus dados.
- O Power BI é um conjunto de ferramentas de análise de negócios para analisar dados e compartilhar insights. O Power BI pode consultar um modelo semântico armazenado no Analysis Services ou pode consultar o Azure Synapse diretamente.
- O Microsoft Entra ID autentica os usuários que se conectam ao servidor do Analysis Services por meio do Power BI. O Data Factory também pode usar a ID do Microsoft Entra para autenticar no Azure Synapse por meio de uma entidade de serviço ou identidade gerenciada para recursos do Azure.
Alternativas
O pipeline de exemplo inclui vários tipos diferentes de fontes de dados. Essa arquitetura pode lidar com uma ampla variedade de fontes de dados relacionais e não relacionais.
O Data Factory orquestra os fluxos de trabalho para seu pipeline de dados. Se quiser carregar dados apenas uma vez ou sob demanda, você pode usar ferramentas como cópia em massa do SQL Server (bcp) e AzCopy para copiar dados para o Armazenamento do Azure Data Lake. Em seguida, você pode carregar os dados diretamente no Azure Synapse usando PolyBase.
Se você tiver conjuntos de dados muito grandes, considere usar o Armazenamento Data Lake, que fornece armazenamento ilimitado para dados analíticos.
O Azure Synapse não é adequado para cargas de trabalho OLTP ou conjuntos de dados menores que 250 GB. Para esses casos, você deve usar o Banco de Dados SQL do Azure ou o SQL Server.
Para comparações de outras alternativas, consulte:
Detalhes do cenário
Este exemplo demonstra uma empresa de vendas e marketing que cria programas de incentivo. Esses programas recompensam clientes, fornecedores, vendedores e funcionários. Os dados são fundamentais para esses programas, e a empresa quer melhorar os insights obtidos por meio da análise de dados usando o Azure.
A empresa precisa de uma abordagem moderna para a análise de dados, para que as decisões sejam tomadas usando os dados certos no momento certo. Os objetivos da empresa incluem:
- Combinando diferentes tipos de fontes de dados em uma plataforma em escala de nuvem.
- Transformar os dados de origem numa taxonomia e estrutura comuns, para tornar os dados consistentes e facilmente comparáveis.
- Carregamento de dados usando uma abordagem altamente paralelizada que pode suportar milhares de programas de incentivo, sem os altos custos de implantação e manutenção da infraestrutura local.
- Reduzindo consideravelmente o tempo necessário para reunir e transformar dados, para que você possa se concentrar na análise dos dados.
Potenciais casos de utilização
Esta abordagem também pode ser utilizada para:
- Estabeleça um armazém de dados para ser uma única fonte de verdade para os seus dados.
- Integre fontes de dados relacionais com outros conjuntos de dados não estruturados.
- Use modelagem semântica e poderosas ferramentas de visualização para uma análise de dados mais simples.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
As tecnologias desta arquitetura foram escolhidas porque atendiam aos requisitos de escalabilidade e disponibilidade da empresa, ao mesmo tempo em que as ajudavam a controlar os custos.
- A arquitetura de processamento paralelo maciço do Azure Synapse fornece escalabilidade e alto desempenho.
- O Azure Synapse garantiu SLAs e práticas recomendadas para alcançar alta disponibilidade.
- Quando a atividade de análise é baixa, a empresa pode dimensionar o Azure Synapse sob demanda, reduzindo ou até mesmo pausando a computação para reduzir custos.
- O Azure Analysis Services pode ser expandido para reduzir os tempos de resposta durante cargas de trabalho de consulta elevadas. Você também pode separar o processamento do pool de consultas, para que as consultas do cliente não sejam pelas operações de processamento.
- O Azure Analysis Services também tem SLAs garantidos e práticas recomendadas para alcançar alta disponibilidade.
- O modelo de segurança do Azure Synapse fornece segurança de conexão, autenticação e autorização por meio de autenticação e criptografia do Microsoft Entra ID ou SQL Server. O Azure Analysis Services usa a ID do Microsoft Entra para gerenciamento de identidade e autenticação de usuário.
Otimização de custos
A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.
Analise um exemplo de preço para um cenário de armazenamento de dados por meio da calculadora de preços do Azure. Ajuste os valores para ver como seus requisitos afetam seus custos.
- O Azure Synapse permite dimensionar seus níveis de computação e armazenamento de forma independente. Os recursos de computação são cobrados por hora, e você pode dimensionar ou pausar esses recursos sob demanda. Os recursos de armazenamento são cobrados por terabyte, portanto, seus custos aumentarão à medida que você ingerir mais dados.
- Os custos do Data Factory são baseados no número de operações de leitura/gravação, operações de monitoramento e atividades de orquestração executadas em uma carga de trabalho. Os custos do Data Factory aumentarão com cada fluxo de dados adicional e a quantidade de dados processados por cada um.
- O Analysis Services está disponível nas camadas de desenvolvedor, básica e padrão. O preço das instâncias é calculado com base nas unidades de processamento de consultas (QPUs) e na memória disponível. Para manter seus custos mais baixos, minimize o número de consultas executadas, a quantidade de dados que elas processam e a frequência com que são executadas.
- O Power BI tem diferentes opções de produto para diferentes requisitos. O Power BI Embedded fornece uma opção baseada no Azure para incorporar a funcionalidade do Power BI em seus aplicativos. Uma instância do Power BI Embedded está incluída no exemplo de definição de preço acima.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelo seguinte colaborador.
Autor principal:
- Alex Buck - Brasil | Desenvolvedor de Conteúdo Sênior
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
Analise a arquitetura de referência do Azure para BI empresarial automatizado, que inclui instruções para implantar uma instância dessa arquitetura no Azure.
Saiba mais sobre os serviços usados neste cenário: