Perguntas frequentes do Azure Synapse Link for Dataverse

Adicionar várias tabelas ao perfil do Azure Synapse Link afetará o desempenho no seguinte cenário:

• Sincronização delta: após a conclusão da sincronização inicial das tabelas, qualquer alteração no Dataverse para tabelas selecionadas será adicionada a uma fila comum no Azure Synapse Link. A fila é processada com um conjunto fixo de ouvintes paralelos. Se você adicionar mais tabelas à fila, o Azure Synapse Link processará as mensagens, mas se o número de mensagens for maior, ele adicionará latência para que os dados sejam sincronizados com o synapse e/ou o data lake.

Para acessar relacionamentos muitos para muitos, o relacionamento ficará disponível como uma tabela para seleção na página Adicionar tabelas para um novo link e em Gerenciar tabelas para um link pré-existente.

Quando você adiciona uma nova coluna a uma tabela na origem, ela também é adicionada no final do arquivo no destino na partição de arquivo correspondente. Embora as linhas que existiam antes da adição da coluna não mostrem a nova coluna, as linhas novas ou atualizadas mostrarão a coluna recém-adicionada.

Quando você exclui uma coluna de uma tabela na origem, a coluna não é excluída do destino. Em vez disso, as linhas não são mais atualizadas e são marcadas como nulas, preservando as linhas anteriores.

Alterar o tipo de dados de uma coluna é uma alteração interruptiva e você deverá desvincular e vincular novamente.

A exclusão de uma linha é tratada de forma diferente com base nas opções de gravação de dados escolhidas:

• Atualização no local: este é o modo padrão e quando você exclui uma linha da tabela neste modo, a linha também é excluída da partição de dados correspondente no Azure Data Lake. Em outras palavras, os dados são excluídos permanentemente do destino.
• Somente acrescentar: neste modo, quando uma linha de tabela do Dataverse é excluída, ela não é excluída de forma definitiva do destino. Em vez disso, uma linha é adicionada e definida como isDeleted=True para o arquivo na partição de dados correspondente no Azure Data Lake.

É importante notar que o Azure Synapse Link for Dataverse processa simultaneamente um conjunto fixo de tabelas para sincronização inicial a qualquer momento. Quando uma nova tabela é adicionada ao perfil, a sincronização incremental ou delta para as tabelas existentes é pausada. Enquanto as mensagens delta para as tabelas existentes continuam a enfileirar, o Azure Synapse Link não processará nenhuma mensagem da fila delta até que a sincronização inicial da tabela recém-adicionada seja concluída. Isso é verdadeiro se você criar um novo lake vinculado, um novo perfil ou adicionar uma tabela a um perfil existente. Para perfis novos ou existentes, é recomendável adicionar no máximo 5 tabelas de cada vez para sincronizar com o data lake. Adicionar mais tabelas não acelera o processo de sincronização. Enquanto a sincronização inicial para as tabelas recém-adicionadas estiver em andamento, ela enfileirará todas as alterações de delta nessas tabelas em uma única fila. O Azure Synapse Link for Dataverse não processará essas alterações delta até que a sincronização inicial de todas as tabelas adicionadas anteriormente seja concluída.

Há três formatos de data e hora que podem ser esperados nas tabelas do Dataverse exportadas.

Para tabelas do Dataverse em que o volume de dados é alto em um ano, recomendamos que você use partições mensais. Isso resulta em arquivos menores e melhor desempenho. Além disso, se as linhas em tabelas do Dataverse forem atualizadas com frequência, a divisão em vários arquivos menores ajudará a melhorar o desempenho no caso de cenários de atualização no local.

O modo Somente acrescentar é a opção recomendada para gravar dados de tabela do Dataverse no lake, especialmente quando os volumes de dados são altos em uma partição com dados que mudam com frequência. Novamente, essa é uma opção comumente usada e altamente recomendada para clientes corporativos. Além disso, você pode optar por usar este modo para cenários em que a intenção é revisar incrementalmente as alterações do Dataverse e processar as alterações para cenários de ETL, IA e ML. O modo Somente acrescentar fornece um histórico de alterações, em vez da última alteração ou atualização no local, e permite várias séries temporais de cenários de IA, como previsão ou análises de previsão com base em valores históricos.

Qualquer tabela que não tenha o controle de alterações habilitado não terá suporte, além das seguintes tabelas do sistema:

• Anexo
• Anotação
• Mapa de Cadeia de Caracteres
• Calendário

Todas as tabelas que não tenham um campo createdOn serão sincronizadas usando o modo Somente acrescentar por padrão. Isso inclui tabelas de relacionamento, bem como a tabela ActivityParty.

Para garantir alto desempenho e baixa latência, além de evitar encargos de saída, o Synapse Link exige que todos os recursos estejam localizados na mesma região. Se tiver um cenário entre regiões, você poderá:

• Mover os recursos do Azure para a mesma região do ambiente.
• Mover o ambiente para a mesma região dos recursos do Azure contatando o suporte ao cliente da Microsoft.
• Habilitar Acesso de leitura – Armazenamento com redundância geográfica (RA-GRS) no Azure Data Lake para replicar dados do Azure para uma região próxima. Mais informações: Acesso de leitura aos dados na região secundária
• Use pipelines do Azure Synapse ou o Azure Data Factory para copiar dados de recursos do Azure em uma região para recursos do Azure em outra.

Os dados do Dataverse podem ser alterados continuamente por meio de transações de criação, atualização e exclusão. Esse erro é causado pela alteração do arquivo subjacente quando você está lendo dados dele. Portanto, para tabelas com alterações contínuas, você deve alterar seu pipeline de consumo para usar dados de instantâneo (tabelas particionadas) para consumir. Mais informações: Criar um Azure Synapse Link for Dataverse com o seu Azure Synapse Workspace

Consulte também

Azure Synapse Link for Dataverse