Criar um Azure Synapse Link for Dataverse com o Azure Synapse Workspace

Artigo
07/07/2022
8 minutos para o fim da leitura

Você pode usar o Azure Synapse Link para conectar dados do Microsoft Dataverse ao Azure Synapse Analytics para explorá-los e acelerar o tempo para obter insights. Este artigo mostra como realizar as seguintes tarefas:

Conecte dados do Dataverse ao espaço de trabalho do Azure Synapse Analytics com o serviço do Azure Synapse Link.
Gerenciar tabelas do Dataverse incluídas no Azure Synapse Link.
Monitore o Azure Synapse Link.
Desvincule o Azure Synapse Link.
Vincule novamente o Azure Synapse Link.
Exiba dados no Azure Synapse Analytics.

Observação

O Azure Synapse Link for Microsoft Dataverse era conhecido antes como Exportar para o data lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics.

Pré-requisitos

Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de funções Proprietário e Colaborador de Dados do Blob de Armazenamento. Sua conta de armazenamento deve habilitar o Namespace hierárquico e é recomendável que a replicação seja definida como armazenamento com redundância geográfica e acesso de leitura (RA-GRS).
Workspace do Synapse: você deve ter um workspace do Synapse e o acesso da função Administrador do Synapse no Synapse Studio. O workspace do Synapse deve estar na mesma região da sua conta do Azure Data Lake Storage Gen2. A conta de armazenamento deve ser adicionada como um serviço vinculado no Synapse Studio. Para criar um workspace do Synapse, vá para Criar um workspace do Synapse.

Observação

A conta de armazenamento e o workspace do Synapse devem ser criados no mesmo locatário do Azure Active Directory (Azure AD) que seu locatário do Power Apps.
A conta de armazenamento e o workspace do Synapse devem ser criados na mesma região do ambiente do Power Apps no qual o recurso será usado e no mesmo grupo de recursos.
Você deve ter o direito de acesso de Leitor para o grupo de recursos com a conta de armazenamento e o workspace do Synapse.
Para vincular o ambiente ao Azure Data Lake Storage Gen2, é necessário ter o direito de acesso de administrador do sistema do Dataverse.
Somente as tabelas que tenham o controle de alterações habilitado podem ser exportadas.
Quando você adiciona vários usuários ao workspace do Synapse, eles devem ter o acesso da função Administrador do Synapse no Synapse Studio e da função Colaborador de Dados do Blob de Armazenamento na conta do Azure Data Lake Storage Gen2.

Conectar o Dataverse ao workspace do Synapse

Entre no Power Apps e selecione seu ambiente preferido.
No painel de navegação esquerdo, selecione Dados, Azure Synapse Link e, na barra de comandos, selecione + Novo vínculo ao data lake.
Selecione a opção Conectar-se ao seu workspace do Azure Synapse (Versão preliminar).
Selecione Assinatura, Grupo de recursos, Nome do workspace e Conta de armazenamento. Garanta que o workspace do Synapse e a conta de armazenamento atendam aos requisitos especificados na seção Pré-requisitos. Selecione Avançar

Observação

Como parte da vinculação do ambiente a um data lake, você concede ao serviço do Azure Synapse Link acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.
Adicione as tabelas que deseja exportar e selecione Salvar. Somente as tabelas com controle de alterações habilitado podem ser exportadas. Mais informações: Habilitar o controle de alterações.

Você pode seguir as etapas acima para criar um link de um ambiente para vários espaços de trabalho do Azure Synapse Analytics e data lakes do Azure na assinatura do Azure, adicionando um data lake do Azure como um serviço vinculado em um espaço de trabalho do Synapse. Da mesma forma, você pode criar um link de vários ambientes para o mesmo espaço de trabalho do Azure Synapse Analytics e o Azure Data Lake, tudo no mesmo locatário.

Observação

Os dados exportados pelo serviço do Azure Synapse Link são criptografados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blobs também são criptografados em repouso. A criptografia no Azure Data Lake Storage Gen2 ajuda a proteger seus dados, implementar políticas de segurança corporativa e atender aos requisitos de conformidade regulamentar. Mais informações: Criptografia de dados em repouso do Azure

Atualmente, você não pode fornecer IPs públicos para o serviço do Azure Synapse Link for Dataverse que possam ser usados em Configurações de firewall do Azure Data Lake. As regras de rede IP pública não têm efeito sobre as solicitações originadas da mesma região do Azure que a conta de armazenamento. Os serviços implantados na mesma região da conta de armazenamento usam endereços IP privados do Azure para comunicação. Dessa forma, você não pode restringir o acesso a serviços específicos do Azure com base no intervalo de endereços IP de saída públicos. Mais informações: Configurar firewalls e redes virtuais do Armazenamento do Azure

Gerenciar dados da tabela para o workspace do Synapse

Depois de configurar o Azure Synapse Link, você pode gerenciar as tabelas que são exportadas de duas maneiras:

No portal do criador do Power Apps, na área Azure Synapse Link, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.
Na área Tabelas do portal do criador do Power Apps, selecione … ao lado de uma tabela e selecione o data lake vinculado para o qual deseja exportar os dados da tabela.

Monitorar seu Azure Synapse Link

Depois que configurar o Azure Synapse Link, você poderá monitorar o Azure Synapse Link na guia Tabelas.

Monitorar um Azure Synapse Link

Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
Há diferentes estágios pelos quais o status de sincronização circulará. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela tiver sido Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho de seus dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
As colunas Somente acrescentar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvincular um Azure Synapse Link

Selecione o Azure Synapse Link desejado para desvincular.
Selecione Desvincular data lake na barra de comandos.
Para excluir o sistema de arquivos do data lake e o Banco de Dados do Synapse, selecione Excluir sistema de arquivos do data lake.
Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Vincular novamente a um Azure Synapse Link

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o workspace do Synapse. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para vinculá-lo novamente:

Navegue no Azure Synapse Analytics.
Selecione ... do banco de dados desvinculado e selecione Novo notebook > Notebook vazio.
Anexe o notebook a um pool do Apache Spark selecionando um pool no menu suspenso. Se você não tiver um pool do Apache Spark, selecione Gerenciar pools para criar um.
Insira o script a seguir, substitua <DATABASE_NAME> pelo nome do banco de dados a ser desvinculado e execute o notebook.

    %%sqls
    DROP DATABASE <DATABASE_NAME> CASCADE

Depois de executar o notebook, atualize a lista de banco de dados no painel esquerdo. Se o banco de dados ainda existir, tente clicar com o botão direito do mouse no banco de dados e selecionar Excluir.
Navegue até o Power Apps e vincule novamente o espaço de trabalho do Synapse e o data lake.

Acessar dados quase em tempo real e dados de instantâneo somente leitura (versão preliminar)

[Este tópico faz parte da documentação de pré-lançamento e está sujeito a alterações.]

Depois de criar um Azure Synapse Link, duas versões dos dados de tabela serão sincronizadas no Azure Synapse Analytics e/ou no Azure Data Lake Storage Gen2 na sua assinatura do Azure por padrão para garantir que você possa consumir dados atualizados de forma confiável no lake a qualquer momento:

Dados quase em tempo real: fornece uma cópia dos dados sincronizados do Dataverse via Link do Synapse de maneira eficiente, detectando quais dados foram alterados desde que foram extraídos inicialmente ou sincronizados pela última vez.
Dados de instantâneo: fornece uma cópia somente leitura de dados quase em tempo real que é atualizada em intervalos regulares (neste caso, a cada hora).

Observação

Este é um recurso em versão preliminar.

Para dados de tabela vazia, somente dados quase em tempo real são criados.

Selecione o Azure Synapse Link desejado e, em seguida, selecione Ir para o espaço de trabalho do Azure Synapse Analytics no painel superior.
Expanda  Bancos de Dados do Lake no painel esquerdo, selecione dataverse-environmentName-organizationUniqueName e, em seguida, expanda  Tabelas.

Todas as Tabelas de Dados Quase em Tempo Real estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName. Todas as Tabelas de Dados de Instantâneo estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName _partitioned.

Tabelas quase em tempo real e de instantâneo

O que vem a seguir?

Depois de usar o serviço do Azure Synapse Link for Dataverse com êxito, descubra como você pode analisar e consumir seus dados com o Hub de Descobertas. Para acessar o Hub de Descobertas, vá para Power Apps > Azure Synapse Link. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados. Hub de Descoberta.