Criar um Azure Synapse Link for Dataverse com o Azure Data Lake

Artigo
07/07/2022
7 minutos para o fim da leitura

Você pode usar o Azure Synapse Link para conectar seus dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para habilitar vários cenários analíticos. Este artigo mostra como realizar as seguintes tarefas:

Conecte seus dados do Dataverse à sua conta do Azure Data Lake Storage Gen2 com o serviço Azure Synapse Link.
Gerenciar tabelas do Dataverse incluídas no Azure Synapse Link.
Monitore seu Azure Synapse Link.
Desvincular seu Azure Synapse Link.
Vincule novamente seu Azure Synapse Link.
Visualize seus dados no Azure Data Lake e entenda a estrutura de arquivos.

Observação

O Azure Synapse Link for Dataverse era conhecido anteriormente como Exportar para o data lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics.

Pré-requisitos

Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de funções Proprietário e Colaborador de Dados do Blob de Armazenamento. Sua conta de armazenamento deve habilitar o Namespace hierárquico e recomendamos que a replicação seja definida como propriedades de armazenamento com redundância de zona de acesso de leitura (RA-GRS)

Observação

A conta de armazenamento deve ser criada no mesmo locatário do locatário do Azure Active Directory (Azure AD) que seu locatário do Power Apps.
A conta de armazenamento deve ser criada na mesma região do ambiente do Power Apps em que você usará o recurso.
Você deve ter o direito de acesso Leitor ao grupo de recursos com a conta de armazenamento.
Para vincular o ambiente ao Azure Data Lake Storage Gen2, é necessário ter o direito de acesso de administrador do sistema do Dataverse.
Somente as tabelas que tenham o controle de alterações habilitado podem ser exportadas.

Conectar seu Dataverse ao Azure Data Lake Storage Gen2

Entre no Power Apps e selecione seu ambiente preferido.
No painel de navegação esquerdo, selecione Dados, Azure Synapse Link e, na barra de comandos, selecione + Novo vínculo ao data lake.
Selecione a Assinatura, o Grupo de recursos e a Conta de armazenamento. Verifique se a conta de armazenamento atende aos requisitos especificados na seção Pré-requisitos. Selecione Avançar

Observação

Como parte da vinculação do ambiente a um data lake, você concede ao serviço do Azure Synapse Link acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.
Adicione as tabelas que deseja exportar e selecione Salvar. Somente as tabelas com controle de alterações habilitado podem ser exportadas. Mais informações: Habilitar o controle de alterações.

Você pode seguir as etapas acima para criar um link de um ambiente para vários Azure Data Lakes na assinatura do Azure. Da mesma forma, você pode criar um link de vários ambientes para o mesmo Azure Data Lake, tudo no mesmo locatário.

Observação

Os dados exportados pelo serviço do Azure Synapse Link são criptografados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blobs também são criptografados em repouso. A criptografia no Azure Data Lake Storage Gen2 ajuda a proteger seus dados, implementar políticas de segurança corporativa e atender aos requisitos de conformidade regulamentar. Mais informações: Criptografia de dados em repouso do Azure

Atualmente, você não pode fornecer IPs públicos para o serviço do Azure Synapse Link for Dataverse que possam ser usados em Configurações de firewall do Azure Data Lake. As regras de rede IP pública não têm efeito sobre as solicitações originadas da mesma região do Azure que a conta de armazenamento. Os serviços implantados na mesma região da conta de armazenamento usam endereços IP privados do Azure para comunicação. Dessa forma, você não pode restringir o acesso a serviços específicos do Azure com base no intervalo de endereços IP de saída públicos. Mais informações: Configurar firewalls e redes virtuais do Armazenamento do Azure

Gerenciar dados da tabela para o data lake

Depois de configurar o Azure Synapse Link, você pode gerenciar as tabelas que são exportadas de duas maneiras:

No portal do criador do Power Apps, na área Azure Synapse Link, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.
Na área Tabelas do portal do criador do Power Apps, selecione … ao lado de uma tabela e selecione o data lake vinculado para o qual deseja exportar os dados da tabela.

Monitorar seu Azure Synapse Link

Depois que configurar o Azure Synapse Link, você poderá monitorar o Azure Synapse Link na guia Tabelas.

Monitoramento do Azure Synapse Link

Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
Há diferentes estágios pelos quais o status de sincronização circulará. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela tiver sido Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho de seus dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
As colunas Somente acrescentar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvincular um Azure Synapse Link

Selecione o Azure Synapse Link desejado para desvincular.
Selecione Desvincular data lake na barra de comandos.
Para excluir o data lake e o sistema de arquivos, selecione Excluir sistema de arquivos do data lake.
Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Vincular novamente a um Azure Synapse Link

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o mesmo data lake. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para vinculá-lo novamente:

Acesse o Azure Data Lake.
Exclua o contêiner do Dataverse.
Acesse o Power Apps e vincule novamente o data lake.

Visualize seus dados no Azure Data Lake Storage Gen2

Selecione o Azure Synapse Link desejado e, em seguida, selecione Acessar o Azure Data Lake no painel superior.
Expanda Sistemas de Arquivos e, em seguida, selecione dataverse-environmentName-organizationUniqueName.

O arquivo model.json, junto com seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O arquivo model.json também inclui o status inicial da sincronização e o horário de conclusão da sincronização.

Uma pasta que inclui arquivos delimitados por vírgulas (formato CSV) de instantâneo é exibida para cada tabela exportada para o data lake. Dados da tabela no data lake.

Atualizações contínuas de instantâneos

Os dados do Microsoft Dataverse podem ser alterados continuamente por meio de transações de criação, atualização e exclusão. Os instantâneos fornecem uma cópia somente leitura dos dados que são atualizados em intervalos regulares, neste caso a cada hora. Isso garante que, a qualquer momento, um consumidor de análise de dados possa consumir dados de forma confiável no data lake.

Atualizações contínuas de instantâneos.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são gravados nos arquivos table.csv nas pastas correspondentes no data lake. Esse é o intervalo T1, em que um arquivo somente leitura de instantâneo chamado tabela-T1.csv — por exemplo, Conta-T1.csv ou Contatos-T1.csv — é criado. Além disso, o arquivo model.json é atualizado para apontar para os arquivos desse instantâneo. Abrindo o model.json, você pode exibir os detalhes do instantâneo.

Veja a seguir um exemplo de arquivo particionado Account.csv e pasta de instantâneo no data lake.

Instantâneo da tabela Contas.

As alterações no Dataverse são continuamente enviadas para os arquivos csv correspondentes usando o mecanismo de alimentação de fluxo. Esse é o intervalo T2, onde outro instantâneo é obtido. tabela-T2.csv — por exemplo, Contas-T2.csv ou Contatos-T2.csv (supondo que haja alterações para a tabela) — e model.json são atualizados para os novos arquivos de instantâneo. Qualquer outra pessoa que exibir os dados de instantâneo do T2 em diante é direcionada aos arquivos de instantâneo mais recentes. Dessa forma, o visualizador do instantâneo original pode continuar trabalhando nos arquivos T1 do instantâneo mais antigos, enquanto os visualizadores mais novos podem ler as atualizações mais recentes. Isso é útil em cenários com processos de downstream demorados.

Veja a seguir um exemplo do arquivo model.json, que sempre aponta para o arquivo de instantâneo mais recente da conta marcado.

Arquivo model.json de instantâneo de amostra.

O que vem a seguir?

Depois de usar o serviço do Azure Synapse Link for Dataverse com êxito, descubra como você pode analisar e consumir seus dados com o Hub de Descobertas. Para acessar o Hub de Descobertas, vá para Power Apps > Azure Synapse Link. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados. Hub de Descoberta.