Como os fluxos de dados do Microsoft Power Platform e os fluxos de dados de estruturação do Azure Data Factory se relacionam entre si

Geralmente se diz que os fluxos de dados do Microsoft Power Platform e os fluxos de dados do Azure Data Factory fazem a mesma coisa: extrair dados de sistemas de origem, transformar os dados e carregar os dados transformados em um destino. No entanto, há diferenças nesses dois tipos de fluxos de dados e é possível obter uma solução implementada que funcione com uma combinação dessas tecnologias. Este artigo descreve essa relação com mais detalhes.

Fluxo de dados do Power Platform

Os fluxos de dados do Power Platform são serviços de transformação de dados viabilizados pelo mecanismo do Power Query e hospedados na nuvem. Esses fluxos de dados obtêm dados de diferentes fontes de dados e, após a aplicação de transformações, armazenam no Dataverse ou no Azure Data Lake Storage.

Diagrama dos fluxos de dados do Power Platform.

Estruturação de fluxo de dados do Data Factory

O Data Factory é um serviço ETL (extração, transformação, carga) baseado na nuvem que suporta muitas fontes e destinos diferentes. Há dois tipos de fluxos de dados nessa tecnologia: o mapeamento dos fluxos de dados e os fluxos de dados de estruturação. Os fluxos de dados de estruturação são viabilizados pelo mecanismo do Power Query para transformação de dados.

Fluxo de dados de estruturação.

O que eles têm em comum?

Os fluxos de dados do Power Platform e os fluxos de dados de estruturação do Data Factory são úteis para obter dados de uma ou mais fontes, aplicar transformações nos dados usando Power Query e carregar os dados transformados nos destinos. Além disso:

  • Ambos são viabilizados ao usar a transformação de dados do Power Query.
  • Ambas são tecnologias baseadas na nuvem.

Qual é a diferença?

O ponto principal é conhecer as diferenças pois, assim, você poderá pensar nos cenários para usar um ou outro.

Recursos Fluxo de dados do Power Platform Estruturação de fluxo de dados do Data Factory
Destinos Dataverse ou Azure Data Lake Storage Muitos destinos (acesse a lista aqui)
Transformação do Power Query Há suporte para todas as funções do Power Query Há suporte para um conjunto limitado de funções (acesse a lista aqui)
Origens Há suporte para muitas origens Apenas algumas fontes (vão para a lista aqui)
Escalabilidade Depende da capacidade Premium e do uso do mecanismo de computação aprimorado Altamente escalonável

Qual persona de usuário é adequada para qual tipo de fluxo de dados?

Se você for um desenvolvedor cidadão de aplicativos ou um analista cidadão de dados com um conjunto de dados de pequena ou média escala a serem integrados e transformados, os fluxos de dados do Power Platform são mais adequados. O grande número de transformações disponíveis, a capacidade de trabalhar com elas sem ter conhecimento de desenvolvedor e o fato de que os fluxos de dados podem ser criados, monitorados e editados no Power BI ou no Power Platform, são motivos que tornam os fluxos de dados do Power Platform uma ótima solução de integração de dados para esse tipo de desenvolvedor.

Se você for um desenvolvedor de dados que está mexendo com big data e conjuntos de dados enormes com um grande número de linhas a serem sempre ingeridas, os fluxos de dados de estruturação do Data Factory serão uma ferramenta melhor para o trabalho. O fluxo de dados de estruturação converte a linguagem M, gerada pelo Editor de mashup do Power Query Online, no código do Spark para executar na escala da nuvem. Trabalhar com o portal do Azure para criar, monitorar e editar os fluxos de dados de estruturação requer uma curva de aprendizado do desenvolvedor maior do que na obtenção da experiência em fluxos de dados do Power Platform. Os fluxos de dados de estruturação são mais adequados para esse tipo de público.