Documentação de engenharia de dados no Microsoft Fabric

A engenharia de dados no Microsoft Fabric permite que os usuários projetem, criem e mantenham infraestruturas e sistemas que permitem que suas organizações coletem, armazenem, processem e analisem grandes volumes de dados.

Sobre Engenharia de Dados

Descrição Geral

• O que é engenharia de dados?
• O que é uma casa de lago?
• Funções e permissões do espaço de trabalho

Comece a usar o lakehouse

Começar Agora

• Criar uma casa no lago
• Navegue pelo explorador da casa do lago

Manual de Instruções

• Obter dados em lakehouse usando o notebook

Introdução aos blocos de notas

Começar Agora

• Blocos de anotações do Microsoft Fabric

Manual de Instruções

• Crie e gerencie blocos de anotações
• Explore os dados da lakehouse com um bloco de anotações
• Visualizar blocos de anotações
• Controle e implantação do código-fonte de notebooks
• Usar MSSparkUtils no bloco de anotações

API para GraphQL

Descrição Geral

• O que é a API de malha para GraphQL?

Começar Agora

• Criar uma API para o GraphQL e adicionar dados

Manual de Instruções

• Gerir Relações
• Ligar a aplicações
• Consultar várias fontes de dados

Delta Lake

Conceito

• Mesas Lakehouse e Delta

Manual de Instruções

• Otimização Delta e V-Order
• Carregar em tabelas

Lakehouse tutorial de ponta a ponta

Conceito

• Visão geral do cenário Lakehouse

Tutorial

• Etapa 1 - Criar um espaço de trabalho
• Passo 2 - Criar uma casa no lago
• Etapa 3 - Ingerir dados em lakehouse
• Etapa 4 - Transformar dados em tabelas delta
• Etapa 5 - Criar um relatório
• Etapa 6 - Limpar recursos

Apache Spark

Conceito

• Definição de trabalho do Apache Spark
• Visão geral do monitoramento de faíscas
• Conselheiro Apache Spark

Começar Agora

• Criar uma definição de trabalho do Spark
• Criar uma definição de trabalho do Spark com uma API de malha
• Definição de trabalho do Spark Integração Git

Manual de Instruções

• Agendar e executar uma definição de trabalho do Spark
• Monitorar um aplicativo Spark
• Gerenciar bibliotecas do Apache Spark
• Como usar o Fabric MSSparkUtils
• Definir definições de capacidade

Integração do VS Code

Manual de Instruções

• Usar blocos de anotações do VS Code
• Usar blocos de anotações do VS Code com recurso
• Usar definições de trabalho do Spark do VS Code
• Explore lakehouse a partir do VS Code
• Desenvolver notebook a partir da experiência web do VS Code

Introdução ao ambiente

Começar Agora

• Ambientes Microsoft Fabric

Manual de Instruções

• Gerencie a computação do Spark em ambientes
• Gerenciar bibliotecas em ambientes
• Pipeline de integração e implantação do Git de ambiente
• Gerencie o ambiente por meio de APIs públicas
• Gerenciar os recursos no ambiente Fabric
• Migrar as bibliotecas de espaço de trabalho existentes e as propriedades do Spark para um ambiente