Migrando do Spark do Azure Synapse para o Fabric

Antes de começar a migração, você deve verificar se a Engenharia de Dados do Fabric é a melhor solução para sua carga de trabalho. A Engenharia de Dados do Fabric dá suporte a lakehouse, notebook, ambiente, SJD (definição de trabalho do Spark) e itens de pipeline de dados, incluindo diferentes recursos de runtime e do Spark.

Considerações-chave

A etapa inicial na criação de uma estratégia de migração é avaliar a adequação. Vale a pena observar que determinados recursos do Fabric relacionados ao Spark estão atualmente em desenvolvimento ou planejamento. Para obter mais detalhes e atualizações, visite o roteiro do Fabric.

Para o Spark, consulte uma comparação detalhada diferenças entre o Spark do Azure Synapse e o Fabric.

Cenários de migração

Caso determine que a Engenharia de Dados do Fabric é a escolha certa para migrar suas cargas de trabalho do Spark existentes, o processo de migração pode envolver vários cenários e fases:

• Itens: a migração de itens envolve a transferência de um ou vários itens do espaço de trabalho existente do Azure Synapse para o Fabric. Saiba mais sobre como migrar pools do Spark, configurações do Spark, bibliotecas do Spark, notebooks e definição de trabalho do Spark.
• dados e pipelines: usando atalhos do OneLake, você poderá disponibilizar dados do ADLS Gen2 (vinculados a um espaço de trabalho do Azure Synapse) no Fabric Lakehouse. A migração de pipeline envolve a movimentação de pipelines de dados existentes para o Fabric, incluindo atividades de pipeline de definição de trabalho do Notebook e do Spark. Saiba mais sobre migração de dados e pipelines.
• metadados: a migração de metadados envolve a movimentação de metadados do catálogo do Spark (bancos de dados, tabelas e partições) de um HMS (MetaStore do Hive) existente no Azure Synapse para o Lakehouse do Fabric. Saiba mais sobre a Migração de metadados do HMS.
• Espaço de trabalho: os usuários podem migrar um espaço de trabalho existente do Azure Synapse criando um novo espaço de trabalho no Microsoft Fabric, incluindo metadados. A migração do espaço de trabalho e não é abordada nessa orientação, o pressuposto é que os usuários precisam criar um novo espaço de trabalho ou ter um espaço de trabalho existente do Fabric. Saiba mais sobre funções do workspace no Fabric.

A transição do Spark do Azure Synapse para o Spark do Fabric requer uma compreensão profunda da arquitetura atual e das diferenças entre o Spark do Azure Synapse e o Fabric. A primeira etapa crucial é uma avaliação, seguida pela criação de um plano de migração detalhado. Esse plano pode ser personalizado para corresponder às características exclusivas do sistema, às dependências de fase e às complexidades da carga de trabalho.

Conteúdo relacionado

• Fabric x Spark do Azure Synapse
• Saiba mais sobre as opções de migração para os pools do Spark, configurações, bibliotecas, notebooks e definição de trabalho do Spark
• Migrar dados e pipelines
• Migrar metadados do Metastore do Hive