O que são fluxos de dados?
Gorjeta
Experimente o Dataflow Gen2 no Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Os fluxos de dados são uma tecnologia de preparação de dados self-service, baseada na nuvem. Os fluxos de dados permitem que os clientes ingestão, transformem e carreguem dados em ambientes Microsoft Dataverse, espaços de trabalho do Power BI ou na conta do Armazenamento Azure Data Lake da sua organização. Os fluxos de dados são criados usando o Power Query, uma experiência unificada de preparação e conectividade de dados já apresentada em muitos produtos da Microsoft, incluindo Excel e Power BI. Os clientes podem acionar fluxos de dados para serem executados sob demanda ou automaticamente em um cronograma; os dados são sempre atualizados.
Os fluxos de dados podem ser criados em vários produtos da Microsoft
Os fluxos de dados são apresentados em vários produtos da Microsoft e não exigem uma licença específica do fluxo de dados para serem criados ou executados. Os fluxos de dados estão disponíveis em Power Apps, Power BI e Dynamics 365 Customer Insights. A capacidade de criar e executar fluxos de dados é empacotada com as licenças desses produtos. Os recursos de fluxo de dados são mais comuns em todos os produtos em que são apresentados, mas alguns recursos específicos do produto podem existir em fluxos de dados criados em um produto versus outro.
Como funciona o fluxo de dados?
A imagem anterior mostra uma visão geral de como um fluxo de dados é definido. Um fluxo de dados obtém dados de diferentes fontes de dados (mais de 80 fontes de dados já são suportadas). Em seguida, com base nas transformações configuradas com a experiência de criação do Power Query, o fluxo de dados transforma os dados usando o mecanismo de fluxo de dados. Por fim, os dados são carregados para o destino de saída, que pode ser um ambiente da Microsoft Power Platform, um espaço de trabalho do Power BI ou a conta do Armazenamento Azure Data Lake da organização.
Os fluxos de dados são executados na nuvem
Os fluxos de dados são baseados na nuvem. Quando um fluxo de dados é criado e salvo, sua definição é armazenada na nuvem. Um fluxo de dados também é executado na nuvem. No entanto, se uma fonte de dados for local, um gateway de dados local poderá ser usado para extrair os dados para a nuvem. Quando uma execução de fluxo de dados é acionada, a transformação e a computação de dados acontecem na nuvem, e o destino está sempre na nuvem.
Os fluxos de dados usam um poderoso mecanismo de transformação
O Power Query é o motor de transformação de dados utilizado no fluxo de dados. Este motor é capaz o suficiente para suportar muitas transformações avançadas. Também utiliza uma interface gráfica de utilizador simples, mas poderosa, chamada Power Query Editor. Você pode usar fluxos de dados com este editor para desenvolver suas soluções de integração de dados com mais rapidez e facilidade.
Integração de fluxo de dados com o Microsoft Power Platform e o Dynamics 365
Como um fluxo de dados armazena as tabelas resultantes no armazenamento baseado em nuvem, outros serviços podem interagir com os dados produzidos pelos fluxos de dados.
Por exemplo, os aplicativos Power BI, Power Apps, Power Automate, Power Virtual Agents e Dynamics 365 podem obter os dados produzidos pelo fluxo de dados conectando-se ao Dataverse, um conector de fluxo de dados da Power Platform ou diretamente através do lago, dependendo do destino configurado no momento da criação do fluxo de dados.
Benefícios dos fluxos de dados
A lista a seguir destaca alguns dos benefícios do uso de fluxos de dados:
Um fluxo de dados separa a camada de transformação de dados da camada de modelagem e visualização em uma solução do Power BI.
O código de transformação de dados pode residir em um local central, um fluxo de dados, em vez de ser distribuído entre vários artefatos.
Um criador de fluxo de dados só precisa de habilidades do Power Query. Em um ambiente com vários criadores, o criador do fluxo de dados pode fazer parte de uma equipe que, junta, constrói toda a solução de BI ou aplicativo operacional.
Um fluxo de dados é independente do produto. Não é apenas um componente do Power BI; Você pode obter seus dados em outras ferramentas e serviços.
Os fluxos de dados tiram partido do Power Query, uma experiência de transformação de dados poderosa, gráfica e self-service.
Os fluxos de dados são executados inteiramente na nuvem. Não é necessária qualquer infraestrutura adicional.
Você tem várias opções para começar a trabalhar com fluxos de dados, usando licenças para Power Apps, Power BI e Customer Insights.
Embora os fluxos de dados sejam capazes de transformações avançadas, eles são projetados para cenários de autoatendimento e não exigem experiência em TI ou desenvolvedor.
Cenários de caso de uso para fluxos de dados
Você pode usar fluxos de dados para muitas finalidades. Os cenários a seguir fornecem alguns exemplos de casos de uso comuns para fluxos de dados.
Migração de dados de sistemas legados
Nesse cenário, a decisão foi tomada por uma organização para usar o Power Apps para a nova experiência de interface do usuário em vez do sistema local herdado. Power Apps, Power Automatize e AI Builder usam o Dataverse como o principal sistema de armazenamento de dados. Os dados atuais no sistema local existente podem ser migrados para o Dataverse usando um fluxo de dados e, em seguida, esses produtos podem usar esses dados.
Usando fluxos de dados para criar um data warehouse
Você pode usar fluxos de dados como um substituto para outras ferramentas de extração, transformação, carga (ETL) para criar um data warehouse. Nesse cenário, os engenheiros de dados de uma empresa decidem usar fluxos de dados para criar seu data warehouse projetado por esquema estrela, incluindo tabelas de fatos e dimensões no Data Lake Storage. Em seguida, o Power BI é usado para gerar relatórios e painéis obtendo dados dos fluxos de dados.
Usando fluxos de dados para criar um modelo dimensional
Você pode usar fluxos de dados como um substituto para outras ferramentas ETL para criar um modelo dimensional. Por exemplo, os engenheiros de dados de uma empresa decidem usar fluxos de dados para criar o modelo dimensional projetado por esquema estelar, incluindo tabelas de fatos e dimensões no Azure Data Lake Storage Gen2. Em seguida, o Power BI é usado para gerar relatórios e painéis obtendo dados dos fluxos de dados.
Centralize a preparação de dados e a reutilização de modelos semânticos em várias soluções do Power BI
Se várias soluções do Power BI estiverem usando a mesma versão transformada de uma tabela, o processo para criar a tabela será repetido várias vezes. Isso aumenta a carga no sistema de origem, consome mais recursos e cria dados duplicados com vários pontos de falha. Em vez disso, um único fluxo de dados pode ser criado para calcular os dados de todas as soluções. O Power BI pode, então, reutilizar o resultado da transformação em todas as soluções. O fluxo de dados, se usado dessa forma, pode fazer parte de uma arquitetura de implementação robusta do Power BI que evita duplicações de código do Power Query e reduz os custos de manutenção da camada de integração de dados.
Próximos passos
Os artigos a seguir fornecem materiais de estudo adicionais para fluxos de dados.
Comentários
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja: https://aka.ms/ContentUserFeedback.
Submeter e ver comentários