Como o Microsoft Power Platform e o Azure Data Factory fluxos de wranglings de fluxo de entrada se relacionam entre si

Observação

A partir de novembro de 2020:

  • Common Data Service foi renomeado para o Microsoft dataverso. Saiba mais
  • Alguma terminologia no Microsoft dataverso foi atualizada. Por exemplo, a entidade agora é tabela e o campo agora é coluna. Saiba mais

Este artigo será atualizado em breve para refletir a terminologia mais recente.

Os fluxos de dados do Microsoft Power Platform e os fluxos de dados de Azure Data Factory geralmente são considerados para fazer a mesma coisa: extração dos sistemas de origem, transformação dos dados e carregamento dos dados transformados em um destino. No entanto, há diferenças nesses dois tipos de fluxo de trabalhos, e você pode ter uma solução implementada que funcione com uma combinação dessas tecnologias. Este artigo descreve essa relação em mais detalhes.

Fluxo de dados do Power Platform

Os fluxos de dados da plataforma de energia são os serviços de transformação data capacitados pelo mecanismo de Power Query e hospedados na nuvem. esses fluxos de dados obtêm dados de diferentes fontes e, depois de aplicarem transformações, armazená-los no dataverso ou em Azure Data Lake Storage.

Diagrama de Dataflows da plataforma de energia.

Data Factory fluxos de Wrangling

Data Factory é um serviço de extração, transformação, carregamento (ETL) baseado em nuvem que dá suporte a várias origens e destinos diferentes. Há dois tipos de fluxo de entrada sob essa tecnologia: mapeando fluxos de fluxo de os e Wrangling. Os fluxos de dados do Wrangling são capacitados pelo mecanismo de Power Query para a transformação Data.

Dataflow Wrangling.

O que eles têm em comum?

Os fluxos de dados da plataforma de energia e os fluxos de dados de Data Factory Wrangling são úteis para obtenção de informações de uma ou mais fontes, aplicação de transformações nos dados usando Power Query e carregamento dos dados transformados em destinos. Além disso:

  • Ambos são capacitados usando Power Query transformação de dados.
  • Ambas são tecnologias baseadas em nuvem.

Qual é a diferença?

O ponto principal é saber suas diferenças, pois você pode pensar em cenários em que você desejaria usar uma ou outra.

Recursos Fluxo de dados do Power Platform Data Factory fluxos de Wrangling
Destinos dataverso ou Azure Data Lake Storage Muitos destinos (consulte a lista aqui)
Transformação de Power Query Há suporte para todas as funções Power Query Há suporte para um conjunto limitado de funções (consulte a lista aqui)
Origens Há suporte para várias fontes Apenas algumas fontes (consulte a lista aqui)
Escalabilidade depende da capacidade de Premium e do uso do mecanismo de computação aprimorado Altamente escalonável

Qual usuário persona é adequado para qual tipo de fluxo de tipos?

Se você for um desenvolvedor de aplicativos do cidadão ou analista de dados do cidadão, com dados de escala pequena para média de escala a serem integrados e transformados, encontrará os fluxos de data da plataforma de energia mais convenientes. O grande número de transformações disponíveis, a capacidade de trabalhar com elas sem ter conhecimento do desenvolvedor e o fato de que os fluxos de dados podem ser criados, monitorados e editados no Power BI ou na plataforma de energia, — todos são os motivos que tornam os fluxos de dados da plataforma de energia uma excelente solução de integração para esse tipo de desenvolvedor.

Se você é um desenvolvedor de dados que está lidando com Big Data e grandes conjuntos de dados, com um grande número de linhas a serem ingeridas a cada vez, você encontrará o Data Factory Wrangling Dataflows como uma ferramenta melhor para o trabalho. O fluxo de dados Wrangling converte M gerado pelo editor de mashup do Power Query online no código do Spark para execução em escala de nuvem. Trabalhar com os portal do Azure para criar, monitorar e editar fluxos de trabalho Wrangling requer uma curva de aprendizado de desenvolvedor maior do que a experiência em fluxos de trabalho da plataforma de energia. Os fluxos de Wrangling são mais adequados para esse tipo de público.