Migrar o Azure Data Lake Analytics para o Azure Synapse Analytics

O Azure Data Lake Analytics será desativado em 29 de fevereiro de 2024. Saiba mais nesse comunicado.

Se você já estiver usando o Azure Data Lake Analytics, crie um plano de migração para o Azure Synapse Analytics na sua organização.

A Microsoft iniciou o Azure Synapse Analytics que visa unificar os dois data lakes e o data warehouse, oferecendo uma experiência única de análise de Big Data. Isso ajudará você a coletar e analisar seus dados a fim de resolver a ineficiência de dados e ajudar suas equipes a trabalharem juntas. Além disso, a integração do Azure Synapse com o Azure Machine Learning e o Power BI aumentará a capacidade das organizações de obter insights dos dados e executar machine learning em todos os aplicativos inteligentes.

O documento mostra como fazer a migração do Azure Data Lake Analytics para o Azure Synapse Analytics.

Abordagem recomendada

• Etapa 1: Avaliar a preparação
• Etapa 2: Preparar para migrar
• Etapa 3: Migrar dados e cargas de trabalho de aplicativos
• Etapa 4: Migrar do Azure Data Lake Analytics para o Azure Synapse Analytics

Etapa 1: Avaliar a preparação

1. Confira o Apache Spark no Azure Synapse Analytics e conheça as principais diferenças do Azure Data Lake Analytics e do Spark no Azure Synapse Analytics.

   Item	Análise Azure Data Lake	O Spark no Synapse
   Preços	Por unidade de hora da Análise	Por hora do vCore
   Mecanismo	Análise Azure Data Lake	Apache Spark
   Linguagem de programação padrão	U-SQL	T-SQL, Python, Scala, Spark SQL e .NET
   Fontes de dados	Armazenamento do Azure Data Lake	Armazenamento de Blobs do Azure, Azure Data Lake Storage

2. Revisar o Questionário de Avaliação de Migração e listar os possíveis riscos a serem considerados.

Etapa 2: Preparar para migrar

1. Identificar os trabalhos e os dados que serão migrados.

   • Aproveite essa oportunidade para limpar os trabalhos que não são mais usados. A menos que planeje migrar todos os trabalhos ao mesmo tempo, reserve um tempo para identificar grupos lógicos dos trabalhos que podem ser migrados em fases.
   • Avalie o tamanho dos dados e conheça o formato de dados do Apache Spark. Examine os scripts do U-SQL, avalie as ações para reescrever os scripts e entenda o conceito de código do Apache Spark.

2. Determine o impacto que uma migração terá em sua empresa. Por exemplo, se você pode permitir algum tempo de inatividade durante a migração.

3. Crie um plano de migração.

Etapa 3: Migrar dados e carga de trabalho de aplicativos

1. Migrar os dados do Azure Data Lake Storage Gen1 para o Azure Data Lake Storage Gen2.
   
   A desativação do Azure Data Lake Storage Gen1 será em fevereiro de 2024, confira o comunicado oficial. Em primeiro lugar, sugerimos a migração dos dados para o Gen2. Confira Conheça os formatos de dados do Apache Spark para desenvolvedores de U-SQL do Azure Data Lake Analytics e mover o arquivo e os dados armazenados em tabelas U-SQL para torná-los acessíveis ao Azure Synapse Analytics. Encontre mais detalhes sobre o guia de migração aqui.

2. Transformar os scripts U-SQL em Spark. Consulte Conheça os conceitos de código do Apache Spark para desenvolvedores de U-SQL do Azure Data Lake Analytics para transformar os scripts U-SQL em Spark.

3. Transforme ou recrie seus pipelines de orquestração de trabalho para o novo programa Spark.

Etapa 4: Migrar do Azure Data Lake Analytics para o Azure Synapse Analytics

Depois de ter certeza de que seus aplicativos e cargas de trabalho estão estáveis, é possível começar a usar o Azure Synapse Analytics para satisfazer seus cenários de negócios. Desative todos os pipelines restantes em execução no Azure Data Lake Analytics e desative suas contas do Azure Data Lake Analytics.

Questionário para Avaliação de Migração

Categoria	Perguntas	Referência
Avaliar o tamanho da migração	Quantas contas você têm do Azure Data Lake Analytics? Quantos pipelines estão em uso? Quantos scripts de U-SQL estão em uso?	Quanto mais dados e scripts forem migrados e quanto mais UDO/UDF forem usados em scripts, mais difícil será para migrar. O tempo e os recursos necessários para migração precisam ser bem planejados de acordo com a escala do projeto.
Fonte de dados	Qual é o tamanho da fonte de dados? Quais são os tipos de formato de dados para processamento?	Saiba mais sobre os formatos de dados do Apache Spark para os desenvolvedores de U-SQL do Azure Data Lake Analytics
Saída de dados	Você manterá os dados de saída para usar depois? Como tratar os dados de saída se eles forem salvos em tabelas U-SQL?	Se os dados de saída forem usados com frequência e salvos em tabelas U-SQL, você precisará alterar os scripts e alterar os dados de saída para o formato de dados com suporte do Spark.
Migração de dados	Você fez o plano de migração de armazenamento?	Migrar do Azure Data Lake Storage do Gen1 para o Gen2
Transformar scripts de U-SQL	Você usa UDO/UDF (.NET, Python, etc.)? Se a resposta acima for afirmativa, qual linguagem você usa em seu UDO/UDF e nos problemas para a transformação durante a transformação? A consulta federada está sendo usada no U-SQL?	Conheça os conceitos de código do Apache Spark para desenvolvedores de U-SQL do Azure Data Lake Analytics

Próximas etapas

• Azure Synapse Analytics