Documentação da Engenharia de Dados no Microsoft Fabric

A engenharia de dados no Microsoft Fabric permite que os usuários projetem, criem e mantenham sistemas que possibilitem que suas organizações coletem, armazenem, processem e analisem grandes volumes de dados.

Sobre a Engenharia de dados

Visão geral

• O que é a Engenharia de dados?
• O que é um lakehouse?
• Funções e permissões do espaço de trabalho

Introdução ao lakehouse

Começar agora

• Criar um lakehouse
• Navegar pelo lakehouse explorer

Guia de Instruções

• Obter dados no lakehouse usando o notebook

Introdução aos notebooks

Começar agora

• Notebooks do Microsoft Fabric

Guia de Instruções

• Criar e gerenciar notebooks
• Explorar dados do lakehouse com um notebook
• Visualizar os notebooks
• Implantação e controle do código-fonte de notebooks
• Usar MSSparkUtils no notebook

Delta Lake

Conceito

• Tabelas Lakehouse e Delta

Guia de Instruções

• Otimização Delta e Ordem V
• Carregar nas tabelas

Tutorial de ponta a ponta do Lakehouse

Conceito

• Visão geral do cenário do Lakehouse

Tutorial

• Etapa 1 – criar um workspace
• Etapa 2 – Criar um lakehouse
• Etapa 3 – Ingerir dados no lakehouse
• Etapa 4 – Transformar dados em tabelas delta
• Etapa 5 – Criar um relatório
• Etapa 6: Limpar os recursos

Apache Spark

Conceito

• Definição de trabalho do Apache Spark
• Visão geral do monitoramento do Spark
• Assistente do Apache Spark

Começar agora

• Criar uma definição de trabalho do Spark
• Criar uma definição de trabalho do Spark com uma API do Fabric
• Integração do Git à definição de trabalho do Spark

Guia de Instruções

• Agendar e executar uma definição de trabalho do Spark
• Monitorar aplicativo Spark
• Gerenciar pacotes do Apache Spark
• Como usar o Fabric MSSparkUtils
• Definir as configurações de capacidade

Integração do VS Code

Guia de Instruções

• Usar notebooks do VS Code
• Use notebooks do VS Code com recurso
• Usar definições de trabalho do Spark do VS Code
• Explorar o lakehouse do VS Code
• Desenvolver notebook com base na experiência Web do VS Code

Introdução ao ambiente

Começar agora

• Ambientes do Microsoft Fabric

Guia de Instruções

• Gerenciar computação do Spark em ambientes
• Gerenciar bibliotecas em ambientes
• Migrar as bibliotecas de espaço de trabalho existentes e as propriedades do Spark para um ambiente