Introdução aos datamarts

  • Artigo

Os usuários corporativos dependem fortemente de fontes de dados controladas centralmente criadas por equipes de tecnologia da informação (TI), mas pode levar meses para um departamento de TI fornecer uma alteração em uma determinada fonte de dados. Em resposta, os usuários geralmente recorrem à construção de seus próprios data marts com bancos de dados do Access, arquivos locais, sites do SharePoint e planilhas, resultando em uma falta de governança e supervisão adequada para garantir que essas fontes de dados sejam suportadas e tenham um desempenho razoável.

Os datamarts ajudam a preencher a lacuna entre os usuários corporativos e a TI. Os Datamarts são soluções de análise de autoatendimento, permitindo que os usuários armazenem e explorem dados carregados em um banco de dados totalmente gerenciado. Os Datamarts fornecem uma experiência simples e, opcionalmente, sem código para ingerir dados de diferentes fontes de dados, extrair transformar e carregar (ETL) os dados usando o Power Query e, em seguida, carregá-los em um banco de dados SQL do Azure que é totalmente gerenciado e não requer ajuste ou otimização.

Depois que os dados são carregados em um datamart, você também pode definir relacionamentos e políticas para business intelligence e análise. Os datamarts geram automaticamente um modelo semântico ou modelo semântico, que pode ser usado para criar relatórios e painéis do Power BI. Você também pode consultar um datamart usando um ponto de extremidade T-SQL ou usando uma experiência visual.

Diagrama que mostra datamarts e relação de poder B I.

Os Datamarts oferecem os seguintes benefícios:

  • Os usuários de autoatendimento podem facilmente executar análises de banco de dados relacional, sem a necessidade de um administrador de banco de dados
  • Os Datamarts fornecem ingestão, preparação e exploração de dados de ponta a ponta com SQL, incluindo experiências sem código
  • Habilite a criação de modelos semânticos e relatórios em uma experiência holística

Características do Datamart:

  • 100% baseado na web, sem necessidade de outro software
  • Uma experiência sem código, resultando em um datamart totalmente gerenciado
  • Ajuste de desempenho automatizado
  • Editor de consultas SQL e visual integrado para análise ad-hoc
  • Suporte para SQL e outras ferramentas de cliente populares
  • Integração nativa com o Power BI, Microsoft Office e outras ofertas de análise da Microsoft
  • Incluído com capacidades do Power BI Premium e Premium por utilizador

Quando usar datamarts

Os datamarts são direcionados para cargas de trabalho de dados interativos para cenários de autoatendimento. Por exemplo, se você estiver trabalhando em contabilidade ou finanças, poderá criar seus próprios modelos de dados e coleções, que poderão ser usados para atender perguntas e respostas de negócios por meio de T-SQL e experiências de consulta visual. Além disso, você ainda pode usar essas coleções de dados para experiências de relatórios mais tradicionais do Power BI. Os datamarts são recomendados para clientes que precisam de propriedade e arquitetura de dados descentralizadas e orientadas para o domínio, como usuários que precisam de dados como um produto ou uma plataforma de dados de autoatendimento.

Os datamarts são projetados para suportar os seguintes cenários:

  • Dados de autoatendimento departamentais: centralize um volume de dados pequeno a moderado (aproximadamente 100 GB) em um banco de dados SQL de autoatendimento totalmente gerenciado. Os datamarts permitem que você designe um único repositório para necessidades de relatórios departamentais de autoatendimento (como Excel, relatórios do Power BI, outros), reduzindo assim a infraestrutura em soluções de autoatendimento.

  • Análise de banco de dados relacional com o Power BI: acesse os dados de um datamart usando clientes SQL externos. O Azure Synapse e outros serviços/ferramentas que usam T-SQL também podem usar datamarts no Power BI.

  • Modelos semânticos de ponta a ponta: permita que os criadores do Power BI criem soluções de ponta a ponta sem dependências de outras ferramentas ou equipes de TI. O Datamarts se livra do gerenciamento de orquestração entre fluxos de dados e modelos semânticos por meio de modelos semânticos gerados automaticamente, enquanto fornece experiências visuais para consultar dados e análises ad-hoc, tudo com suporte do Banco de Dados SQL do Azure.

A tabela a seguir descreve essas ofertas e os melhores usos para cada uma, incluindo sua função com datamarts.

Item Caso de uso recomendado Complementando a função com datamarts
Datamarts Data warehousing baseado no utilizador e acesso SQL aos seus dados Os datamarts podem ser usados como fontes para outros datamarts ou itens, usando o ponto de extremidade SQL:
  • Partilha externa
  • Compartilhamento entre limites departamentais ou organizacionais com segurança habilitada
Fluxos de Dados Preparação de dados reutilizáveis (ETL) para modelos semânticos ou mercados Os datamarts usam um único fluxo de dados integrado para ETL. Os fluxos de dados podem acentuar isso, permitindo:
  • Carregando dados em datamarts com diferentes agendas de atualização
  • Separar as etapas de ETL e preparação de dados do armazenamento, para que possam ser reutilizados por modelos semânticos
Modelos semânticos Métricas e camada semântica para relatórios de BI Os Datamarts fornecem um modelo semântico gerado automaticamente para relatórios, permitindo:
  • Combinação de dados de várias fontes
  • Compartilhamento seletivo das tabelas do datamart para relatórios refinados
  • Modelos compostos - um modelo semântico com dados do datamart e outras fontes de dados fora do datamart
  • Modelos de proxy - um modelo semântico que usa o DirectQuery para o modelo gerado automaticamente, usando uma única fonte de verdade

Integração de Datamarts e fluxos de dados

Em alguns casos, pode ser útil incorporar fluxos de dados e datamarts na mesma solução. As seguintes situações podem considerar vantajosa a incorporação de fluxos de dados e datamarts:

  • Para soluções com fluxos de dados existentes:

    • Consuma facilmente os dados com datamarts para aplicar transformações adicionais ou habilitar análises e consultas ad-hoc usando consultas SQL
    • Integre facilmente uma solução de armazenamento de dados sem código sem gerenciamento de modelos semânticos

  • Para soluções com datamarts existentes:

    • Execute extração, transformação e carga (ETL) reutilizáveis em escala para grandes volumes de dados
    • Traga seu próprio data lake e use fluxos de dados como um pipeline para datamarts

Diagrama que mostra datamarts e fluxos de dados.

Comparando fluxos de dados com datamarts

Esta seção descreve as diferenças entre fluxos de dados e datamarts.

Os fluxos de dados fornecem extração, transformação e carga (ETL) reutilizáveis. As tabelas não podem ser navegadas, consultadas ou exploradas sem um modelo semântico, mas podem ser definidas para reutilização. Os dados serão expostos no formato Power BI ou CDM se você trouxer seu próprio data lake. Os fluxos de dados são usados pelo Power BI para ingerir dados em seus datamarts. Você deve usar fluxos de dados sempre que quiser reutilizar sua lógica ETL.

Use fluxos de dados quando precisar:

  • Crie uma preparação de dados reutilizável e compartilhável para itens no Power BI.

Os Datamarts são um banco de dados totalmente gerenciado que permite armazenar e explorar seus dados em um banco de dados SQL do Azure relacional e totalmente gerenciado. Os datamarts fornecem suporte SQL, um designer de consulta visual sem código, RLS (Row Level Security) e geração automática de um modelo semântico para cada datamart. Você pode realizar análises ad hoc e criar relatórios, tudo na web.

Use datamarts quando precisar:

  • Classificar, filtrar, fazer agregação simples visualmente ou através de expressões definidas em SQL
  • Para saídas que são resultados, conjuntos, tabelas e tabelas filtradas de dados
  • Fornecer dados acessíveis por meio de um ponto de extremidade SQL
  • Habilitar usuários que não têm acesso ao Power BI Desktop

Conteúdos relacionados

Este artigo forneceu uma visão geral dos datamarts e das muitas maneiras de usá-los.

Os seguintes artigos fornecem mais informações sobre datamarts e Power BI:

Para obter mais informações sobre fluxos de dados e transformação de dados, consulte os seguintes artigos: