Perguntas frequentes sobre o Data Factory no Microsoft Fabric

Os pipelines do Azure Data Factory (ADF) e do Azure Synapse mantêm roteiros separados de Plataforma como Serviço (PaaS). Estas duas soluções continuam a coexistir com o Fabric Data Factory, que serve como oferta de Software as a Service (SaaS). Os pipelines ADF e Synapse permanecem totalmente suportados e não há planos para depreciação. É importante destacar que, para quaisquer projetos futuros, nossa sugestão é iniciá-los usando o Fabric Data Factory. Além disso, temos estratégias em vigor para facilitar a transição dos pipelines ADF e Synapse para o Fabric Data Factory, permitindo que eles aproveitem as novas funcionalidades do Fabric. Você pode saber mais sobre isso aqui.

À medida que nos esforçamos para preencher lacunas de funcionalidade e incorporar os recursos robustos de orquestração e fluxo de trabalho do pipeline de dados encontrados nos pipelines do ADF / Azure Synapse no Fabric Data Factory, reconhecemos que certos recursos presentes nos pipelines do ADF / Synapse podem ser essenciais para suas necessidades. Embora você seja incentivado a continuar utilizando pipelines ADF / Synapse se esses recursos forem necessários, recomendamos que você explore primeiro suas novas possibilidades de integração de dados no Fabric. Seu feedback sobre quais recursos são fundamentais para o seu sucesso é inestimável. Para facilitar isso, estamos trabalhando ativamente na introdução de um novo recurso, permitindo a migração de suas fábricas de dados existentes do Azure para espaços de trabalho do Fabric também.

Não fazemos backport de novos recursos de pipelines de malha para pipelines ADF / Synapse. Mantemos dois roteiros separados para Fabric Data Factory e ADF/Synapse. Avaliamos as solicitações de backport em resposta aos comentários recebidos.

A função principal do pipeline de malha é semelhante ao pipeline do Azure Synapse, mas usando o pipeline de malha, os usuários podem aplicar todos os recursos de análise de dados na plataforma de malha. Diferenças notáveis e mapeamentos de recursos entre o pipeline de malha e o pipeline do Azure Synapse podem ser encontrados aqui: Diferenças entre o Data Factory no Fabric e o Azure.

O Data Factory ajuda você a resolver cenários complexos de integração de dados e ETL com serviços de movimentação e transformação de dados em escala de nuvem, enquanto a engenharia de dados ajuda você a criar lake house, usar o Apache Spark para transformar e preparar seus dados. As diferenças entre cada uma das terminologias/experiências do Fabric estão disponíveis na terminologia do Microsoft Fabric.

As atualizações mensais do Fabric estão disponíveis no Blog do Microsoft Fabric.

Para facilitar a transição dos clientes do Azure Data Factory (ADF) para o Microsoft Fabric, oferecemos uma variedade de recursos essenciais e mecanismos de suporte. Em primeiro lugar, fornecemos suporte abrangente para a maioria das atividades usadas no ADF dentro do Fabric, juntamente com a adição de novas atividades personalizadas para notificações, como funcionalidades do Teams e do Outlook. Os clientes podem acessar uma lista detalhada das atividades disponíveis no Data Factory dentro do Fabric. Além disso, introduzimos os conectores Fabric Lakehouse/Warehouse no Azure Data Factory, permitindo a integração perfeita de dados no ambiente OneLake do Fabric para clientes do ADF. Também fornecemos um guia para clientes ADF que ajuda a mapear suas transformações de fluxo de dados de mapeamento existentes para novas transformações Dataflow Gen2. Olhando para o futuro, como parte de nosso roteiro, estamos incluindo a capacidade de montar recursos do ADF no Fabric, permitindo que os clientes mantenham a funcionalidade de seus pipelines do ADF existentes no Azure enquanto exploram o Fabric e planejam estratégias de atualização abrangentes. Estamos colaborando estreitamente com os clientes e a comunidade para determinar as maneiras mais eficazes de dar suporte à migração de pipelines de dados do ADF para o Fabric. Como parte desse esforço, forneceremos uma experiência de atualização que permite que você teste seus pipelines de dados atuais no Fabric através do processo de montagem e atualização.

Os administradores de capacidade do Microsoft Fabric podem usar o aplicativo Microsoft Fabric Capacity Metrics , também conhecido como aplicativo de métricas, para obter visibilidade dos recursos de capacidade. Este aplicativo permite que os administradores vejam quanto de utilização da CPU, tempo de processamento e memória são utilizados por pipelines de dados, fluxos de dados e outros itens em seus espaços de trabalho habilitados para capacidade de malha. Obtenha visibilidade sobre as causas da sobrecarga, os horários de pico de demanda, o consumo de recursos e muito mais e identifique facilmente os itens mais exigentes ou mais populares.

A atividade do Power Query no ADF partilha semelhanças com o Dataflow Gen2, mas tem funcionalidades adicionais que permitem ações como escrever em destinos de dados específicos, etc. Essa comparação se alinha de forma mais justa com o Dataflow Gen1 (fluxos de dados do Power BI ou fluxos de dados do Power Apps). Dê uma olhada aqui para mais detalhes: Diferenças entre Dataflow Gen1 e Dataflow Gen2.

Usando o Gateway de Dados local, os clientes agora podem se conectar a fontes de dados locais usando fluxos de dados e pipelines de dados (visualização) com o Data Factory no Microsoft Fabric. Para saber mais, consulte Como acessar fontes de dados locais no Data Factory.

Atualmente, o gateway VNet oferece um método injetivo para integração perfeita em sua rede virtual, fornecendo uma via robusta para o uso de pontos de extremidade privados para estabelecer conexões seguras com seus armazenamentos de dados. É importante observar que o gateway VNet acomoda apenas fluxos de dados de malha no momento. No entanto, nossas próximas iniciativas abrangem a expansão de seus recursos para abranger pipelines de malha.

O Fabric Data Factory permite desenvolver pipelines que maximizam a taxa de transferência de movimentação de dados para seu ambiente. Esses pipelines utilizam totalmente os seguintes recursos:

• Largura de banda de rede entre os armazenamentos de dados de origem e destino
• Operações de entrada/saída de armazenamento de dados de origem ou destino por segundo (IOPS) e largura de banda Essa utilização total significa que você pode estimar a taxa de transferência geral medindo a taxa de transferência mínima disponível com os seguintes recursos:
• Source data store
• Arquivo de dados de destino
• Largura de banda de rede entre os armazenamentos de dados de origem e de destino Enquanto isso, trabalhamos continuamente em inovações para aumentar a taxa de transferência possível que você pode alcançar. Hoje, o serviço pode mover o conjunto de dados TPC-DI TPC de 1 TB (arquivos parquet) para a tabela Fabric Lakehouse e o Data Warehouse em 5 minutos - movendo 1B linhas em menos de 1 min; Observe que esse desempenho é apenas uma referência executando o conjunto de dados de teste acima. A taxa de transferência real ainda depende dos fatores listados anteriormente. Além disso, você sempre pode multiplicar sua taxa de transferência executando várias atividades de cópia em paralelo. Por exemplo, usando o loop ForEach.

Você pode separar as diferentes cargas de trabalho entre espaços de trabalho e usar as funções como membro e visualizador para ter um espaço de trabalho para engenharia de dados que prepara dados para um espaço de trabalho usado para treinamento de relatório ou IA. Com a função de visualizador, você pode consumir dados do espaço de trabalho de engenharia de dados.

Nosso foco atual envolve o desenvolvimento ativo da capacidade CDC dentro do Data Factory In Fabric. Esse recurso futuro permite que você mova dados entre várias fontes de dados combinando diferentes padrões de cópia, incluindo padrão de cópia em massa/lote, padrão de cópia incremental/contínua (CDC) e padrão de cópia em tempo real em uma experiência 5x5.

Em determinadas experiências do usuário, você pode encontrar artefatos do sistema não destinados à interação. É melhor desconsiderar esses artefatos, pois eles acabarão sendo removidos das experiências Get Data no futuro.

Os preços do Data Factory no Microsoft Fabric fornecem um guia abrangente sobre como os custos são calculados para pipelines de dados e Dataflow Gen2. Ele inclui vários cenários de exemplos de preços para ajudá-lo a entender melhor o modelo de preços.

O que há de novo e planejado para o Data Factory no Microsoft Fabric fornece informações sobre os próximos recursos e seus cronogramas de lançamento estimados para os próximos meses.

Próximos passos

Introdução - Tutorial do Data Factory