Início rápido: criar um novo banco de dados Lake aproveitando os modelos de banco de dados

Artigo
06/01/2023

Este início rápido fornece um cenário de exemplo completo sobre como é possível aplicar os modelos de banco de dados para criar um banco de dados Lake, alinhar dados ao novo modelo e usar a experiência integrada para analisar os dados.

Pré-requisitos

Para explorar um modelo de banco de dados Lake a partir da Galeria, será necessário ter no mínimo as permissões de Usuário do Synapse.
As permissões Administrador do Synapse ou Colaborador do Synapse são necessárias no workspace do Azure Synapse para criar um banco de dados Lake.
As permissões Colaborador de Dados de Blob de Armazenamento serão necessárias no data lake ao usar a opção criar tabela A partir do data lake.

Criar um banco de dados Lake a partir dos modelos de banco de dados

Use a nova funcionalidade de modelos de banco de dados para criar um banco de dados Lake que você pode usar para configurar o seu modelo de dados para o banco de dados.

Para nosso cenário, usaremos o modelo de banco de dados Retail e selecionaremos as seguintes entidades:

RetailProduct - um produto é qualquer coisa que possa ser oferecida a um mercado e que possa satisfazer uma necessidade de clientes potenciais. Esse produto é a soma de todos os atributos físicos, psicológicos, simbólicos e de serviço a ele associados.
Transação - o nível mais baixo de trabalho executável ou de atividade do cliente. Uma transação consiste em um ou mais eventos discretos.
TransactionLineItem - os componentes de uma transação divididos por produto e quantidade, um por item de linha.
Parte - uma parte é uma pessoa, organização, entidade legal, organização social ou unidade de negócios de interesse para o negócio.
Cliente - um cliente é uma pessoa física ou jurídica que tem ou adquiriu um produto ou serviço.
Canal – um canal é um meio pelo qual produtos ou serviços são vendidos e/ou distribuídos.

A maneira mais fácil de localizar as entidades é usando a caixa de pesquisa acima das diferentes áreas comerciais que contêm as tabelas.

Configurar banco de dados Lake

Após criar o banco de dados, verifique se a conta de armazenamento e o caminho do arquivo estão definidos para o local onde você quer armazenar os dados. O caminho usará como padrão a conta de armazenamento primário no Synapse Analytics, mas poderá ser alterado conforme necessário.

Para salvar o layout e disponibilizá-lo no Azure Synapse, Publique todas as alterações. Esta etapa conclui a configuração do banco de dados Lake e o disponibiliza para todos os componentes dentro e fora do Azure Synapse Analytics.

Dados de ingestão para o banco de dados Lake

Para ingerir dados para o banco de dados Lake, você pode executar pipelines com mapeamentos de fluxo de dados livre de código, que têm um conector de Banco de dados de Espaço de trabalho para carregar dados diretamente na tabela do banco de dados. Você também pode usar os notebooks interativos do Spark para ingerir dados para as tabelas do banco de dados Lake:

%%sql
INSERT INTO `retail_mil`.`customer` VALUES (1,date('2021-02-18'),1022,557,101,'Tailspin Toys (Head Office)','Waldemar Fisar',90410,466);

Consultar os dados

Depois que o banco de dados Lake for criado, há diferentes maneiras de consultar os dados. Atualmente, os bancos de dados SQL em pools de SQL sem servidor têm suporte e reconhecem automaticamente o formato de banco de dados Lake recém-criado.

SELECT TOP (100) [ProductId]
,[ProductName]
,[ProductDescription]
,[ProductInternalName]
,[ItemSku]
,[PrimaryBrandId]
FROM [Retail_mil].[dbo].[RetailProduct]

A outra maneira de acessar os dados no Azure Synapse é abrir um novo notebook Spark e usar a experiência integrada lá:

df = spark.sql("SELECT * FROM `Retail_mil`.`RetailProduct`")
df.show(10)

Compilar modelos de aprendizado de máquina

Você pode usar o banco de dados Lake para treinar seus modelos de aprendizado de máquina e pontuar os dados. Para mais detalhes, consulte Treinar modelos de machine learning

Próximas etapas

Continue explorando os recursos do designer de banco de dados usando os links abaixo.

Share via