Armazenamento e análise de dados para vendas e marketingData warehousing and analytics for sales and marketing

Neste cenário de exemplo demonstra um pipeline de dados que se integra grandes quantidades de dados de várias fontes numa plataforma de análise unificada no Azure.This example scenario demonstrates a data pipeline that integrates large amounts of data from multiple sources into a unified analytics platform in Azure. Este cenário específico se baseia numa solução de venda e marketing, mas os padrões de design são relevantes para vários setores que requerem a análise avançada de grandes conjuntos de dados, como comércio eletrônico, de varejo e de cuidados de saúde.This specific scenario is based on a sales and marketing solution, but the design patterns are relevant for many industries requiring advanced analytics of large datasets such as e-commerce, retail, and healthcare.

Este exemplo demonstra uma empresa de venda e marketing que cria programas de incentivo.This example demonstrates a sales and marketing company that creates incentive programs. Esses programas recompense os clientes, fornecedores, representantes de vendas e funcionários.These programs reward customers, suppliers, salespeople, and employees. Os dados são fundamentais para estes programas e a empresa quer aprimorar as informações obtidas através da análise de dados a utilizar o Azure.Data is fundamental to these programs, and the company wants to improve the insights gained through data analytics using Azure.

A empresa tem uma abordagem moderna para dados de análise, para que as decisões são tomadas com os dados corretos no momento certo.The company needs a modern approach to analysis data, so that decisions are made using the right data at the right time. Objetivos da empresa incluem:The company's goals include:

  • Combinar diferentes tipos de origens de dados numa plataforma de escala da cloud.Combining different kinds of data sources into a cloud-scale platform.
  • Transformar dados de origem numa taxonomia comum e sua estrutura, para tornar os dados consistentes e facilmente comparados.Transforming source data into a common taxonomy and structure, to make the data consistent and easily compared.
  • Carregamento de dados usando uma abordagem altamente em paralelo, que pode oferecer suporte a milhares de programas de incentivo, sem os custos elevados da implementação e manutenção de infraestrutura no local.Loading data using a highly parallelized approach that can support thousands of incentive programs, without the high costs of deploying and maintaining on-premises infrastructure.
  • Reduz significativamente o tempo necessário para recolher e transformar dados, por isso, pode se concentrar em analisar os dados.Greatly reducing the time needed to gather and transform data, so you can focus on analyzing the data.

Casos de utilização relevantesRelevant use cases

Esta abordagem também pode ser utilizada para:This approach can also be used to:

  • Estabelece um armazém de dados para ser uma fonte fidedigna para os seus dados.Establish a data warehouse to be a single source of truth for your data.
  • Integre fontes de dados relacional com outros conjuntos de dados não estruturados.Integrate relational data sources with other unstructured datasets.
  • Modelação semântica de utilização e as ferramentas de visualização poderosa para análise de dados mais simples.Use semantic modeling and powerful visualization tools for simpler data analysis.

ArquiteturaArchitecture

Arquitetura para um cenário de armazenamento e análise de dados no Azure

Os dados fluem através da solução da seguinte forma:The data flows through the solution as follows:

  1. Para cada origem de dados, todas as atualizações são exportadas periodicamente para uma área de teste no armazenamento de Blobs do Azure.For each data source, any updates are exported periodically into a staging area in Azure Blob storage.
  2. Fábrica de dados incrementalmente carrega os dados do armazenamento de BLOBs para tabelas no SQL Data Warehouse de testes.Data Factory incrementally loads the data from Blob storage into staging tables in SQL Data Warehouse. Os dados são limpos e transformados durante este processo.The data is cleansed and transformed during this process. O Polybase pode paralelizar o processo para grandes conjuntos de dados.Polybase can parallelize the process for large datasets.
  3. Depois de carregar um novo lote de dados para o armazém, é atualizado um modelo de tabela do Analysis Services criado anteriormente.After loading a new batch of data into the warehouse, a previously created Analysis Services tabular model is refreshed. Este modelo semântico simplifica a análise de dados de negócio e relações.This semantic model simplifies the analysis of business data and relationships.
  4. Analistas de negócios utilizam o Microsoft Power BI para analisar dados armazenados por meio do modelo semântico do Analysis Services.Business analysts use Microsoft Power BI to analyze warehoused data via the Analysis Services semantic model.

ComponentesComponents

A empresa possui origens de dados em muitas plataformas diferentes:The company has data sources on many different platforms:

  • SQL Server no localSQL Server on-premises
  • Oracle no localOracle on-premises
  • Base de Dados SQL do AzureAzure SQL Database
  • Armazenamento de tabelas do AzureAzure table storage
  • BD do CosmosCosmos DB

Os dados são carregados a partir destas origens de dados diferentes com vários componentes do Azure:Data is loaded from these different data sources using several Azure components:

  • Armazenamento de BLOBs é utilizado para testar dados de origem antes do que é carregado para o SQL Data Warehouse.Blob storage is used to stage source data before it's loaded into SQL Data Warehouse.
  • Fábrica de dados orquestra a transformação de dados em etapas numa estrutura comum no SQL Data Warehouse.Data Factory orchestrates the transformation of staged data into a common structure in SQL Data Warehouse. Data Factory utiliza o Polybase ao carregar dados para o SQL Data Warehouse para maximizar o débito.Data Factory uses Polybase when loading data into SQL Data Warehouse to maximize throughput.
  • O SQL Data Warehouse é um sistema distribuído para armazenar e analisar grandes conjuntos de dados.SQL Data Warehouse is a distributed system for storing and analyzing large datasets. A sua utilização de processamento paralelo em grande (escala MPP) faz com que seja adequado para a execução de análises de elevado desempenho.Its use of massive parallel processing (MPP) makes it suitable for running high-performance analytics. Pode utilizar o SQL Data Warehouse PolyBase para rapidamente carregar dados do armazenamento de Blobs.SQL Data Warehouse can use PolyBase to rapidly load data from Blob storage.
  • Analysis Services fornece um modelo semântico para os seus dados.Analysis Services provides a semantic model for your data. Isso também pode aumentar o desempenho do sistema quando analisar os seus dados.It can also increase system performance when analyzing your data.
  • Power BI é um conjunto de ferramentas de análise de negócio para analisar dados e partilhar informações.Power BI is a suite of business analytics tools to analyze data and share insights. Power BI possa consultar um modelo semântico armazenado no Analysis Services, ou pode consultar o armazém de dados SQL diretamente.Power BI can query a semantic model stored in Analysis Services, or it can query SQL Data Warehouse directly.
  • Azure Active Directory (Azure AD) autentique os utilizadores que se conectam ao servidor do Analysis Services através do Power BI.Azure Active Directory (Azure AD) authenticates users who connect to the Analysis Services server through Power BI. Fábrica de dados também pode utilizar o Azure AD para autenticar para o SQL Data Warehouse através de um principal de serviço ou identidade de recursos do Azure gerida.Data Factory can also use Azure AD to authenticate to SQL Data Warehouse via a service principal or Managed identity for Azure resources.

AlternativasAlternatives

ConsideraçõesConsiderations

As tecnologias nesta arquitetura eram escolhidas porque eles cumpridos os requisitos da empresa para escalabilidade e disponibilidade, ajudando-os controlar os custos.The technologies in this architecture were chosen because they met the company's requirements for scalability and availability, while helping them control costs.

PreçosPricing

Revisão de um [um cenário de armazém de dados de exemplo de preços] calculator via a Calculadora de preços do Azure.Review a pricing sample for a data warehousing scenario via the Azure pricing calculator. Ajuste os valores para ver como os seus requisitos afetam os custos.Adjust the values to see how your requirements affect your costs.

  • O SQL Data Warehouse permite-lhe ajustar os níveis de computação e armazenamento de forma independente.SQL Data Warehouse allows you to scale your compute and storage levels independently. Recursos de computação são cobrados por hora, e pode dimensionar ou colocar em pausa estes recursos a pedido.Compute resources are charged per hour, and you can scale or pause these resources on demand. Recursos de armazenamento é faturada por terabyte, para que os seus custos aumentará à medida que ingerir mais dados.Storage resources are billed per terabyte, so your costs will increase as you ingest more data.
  • Fábrica de dados os custos baseiam-se no número de operações de leitura/escrita, operações de monitorização e atividades de orquestração efetuadas numa carga de trabalho.Data Factory costs are based on the number of read/write operations, monitoring operations, and orchestration activities performed in a workload. Os custos da sua fábrica de dados irão aumentar com cada fluxo de dados adicionais e a quantidade de dados processados por cada um deles.Your Data Factory costs will increase with each additional data stream and the amount of data processed by each one.
  • Analysis Services está disponível nos escalões de programador, básico e standard.Analysis Services is available in developer, basic, and standard tiers. Instâncias têm o preço com base em unidades (QPUs) e a memória disponível de processamento de consultas.Instances are priced based on query processing units (QPUs) and available memory. Para manter os seus custos mais baixos, minimizar o número de consultas que executar, como a quantidade de dados que processam, e a frequência com que são executadas.To keep your costs lower, minimize the number of queries you run, how much data they process, and how often they run.
  • Power BI tem opções de produto diferente de requisitos diferentes.Power BI has different product options for different requirements. Power BI Embedded fornece uma opção baseada no Azure para incorporar a funcionalidade do Power BI dentro de seus aplicativos.Power BI Embedded provides an Azure-based option for embedding Power BI functionality inside your applications. Uma instância do Power BI Embedded está incluída no exemplo de preços acima.A Power BI Embedded instance is included in the pricing sample above.

Próximos PassosNext Steps