Share via

Capture dados alterados com a evolução do esquema do Banco de Dados SQL do Azure para um coletor Delta usando um recurso de captura de dados de alteração

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Neste artigo, você usa a interface do usuário do Azure Data Factory para criar um recurso CDC (captura de dados de alteração). O recurso recolhe dados alterados de uma origem da Base de Dados SQL do Azure e adiciona-os ao Delta Lake armazenados no Azure Data Lake Storage Gen2, em tempo real. Esta atividade mostra o suporte à evolução do esquema usando um recurso CDC entre a origem e o coletor.

Neste artigo, vai aprender a:

  • Crie um recurso CDC.
  • Faça alterações dinâmicas de esquema em uma tabela de origem.
  • Valide as alterações de esquema no coletor Delta de destino.

Você pode modificar e expandir o padrão de configuração neste artigo.

Pré-requisitos

Antes de iniciar os procedimentos neste artigo, certifique-se de que tem estes recursos:

  • Subscrição do Azure. Se você não tiver uma assinatura do Azure, crie uma conta gratuita do Azure.
  • Banco de dados SQL. Você usa o Banco de Dados SQL do Azure como um armazenamento de dados de origem. Se você não tiver um banco de dados SQL, crie um no portal do Azure.
  • Conta de armazenamento. Você usa o Delta Lake armazenado no Azure Data Lake Storage Gen2 como um armazenamento de dados de destino. Se você não tiver uma conta de armazenamento, consulte Criar uma conta de armazenamento para conhecer as etapas para criar uma.

Criar um artefato CDC

  1. Vá para o painel Autor no seu data factory. Abaixo de Pipelines, um novo artefato de nível superior chamado Change Data Capture (visualização) é exibido.

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. Passe o cursor sobre Alterar captura de dados (visualização) até que três pontos apareçam. Em seguida, selecione Alterar ações de captura de dados (visualização).

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. Selecione Novo CDC (visualização). Esta etapa abre um submenu para iniciar o processo guiado.

    Screenshot of a list of change data capture actions.

  4. Você será solicitado a nomear seu recurso CDC. Por padrão, o nome é "adfcdc" com um número que aumenta em 1. Você pode substituir esse nome padrão por um nome que você escolher.

    Screenshot of the text box to update the name of a resource.

  5. Use a lista suspensa para escolher sua fonte de dados. Para este artigo, selecione Banco de Dados SQL do Azure.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. Você será solicitado a selecionar um serviço vinculado. Crie um novo serviço vinculado ou selecione um existente.

    Screenshot of the box to choose or create a linked service.

  7. Depois de selecionar um serviço vinculado, você será solicitado a selecionar tabelas de origem. Use as caixas de seleção para selecionar as tabelas de origem e, em seguida, selecione o valor da coluna incremental usando a lista suspensa.

    Screenshot that shows selection of a source table and an incremental column.

    O painel lista apenas tabelas que suportaram tipos de dados de coluna incremental.

    Nota

    Para habilitar o CDC com evolução de esquema em uma fonte do Banco de Dados SQL do Azure, escolha tabelas baseadas em colunas de marca d'água em vez de tabelas habilitadas para SQL CDC nativo.

  8. Depois de selecionar as tabelas de origem, selecione Continuar para definir o destino de dados.

    Screenshot of the Continue button in the guided process to select a data target.

  9. Selecione um valor de Tipo de destino usando a lista suspensa. Para este artigo, selecione Delta.

    Screenshot of a dropdown menu of all data target types.

  10. Você será solicitado a selecionar um serviço vinculado. Crie um novo serviço vinculado ou selecione um existente.

    Screenshot of the box to choose or create a linked service to your data target.

  11. Selecione sua pasta de dados de destino. Pode utilizar:

    • O botão Procurar em Caminho base de destino, que ajuda a preencher automaticamente o caminho de navegação de todas as novas tabelas selecionadas para uma origem.
    • O botão Procurar fora para selecionar individualmente o caminho da pasta.

    Screenshot of a folder icon to browse for a folder path.

  12. Depois de selecionar um caminho de pasta, selecione o botão Continuar .

    Screenshot of the Continue button in the guided process to proceed to the next step.

  13. Uma nova guia para capturar dados de alteração é exibida. Esta guia é o estúdio CDC, onde você pode configurar seu novo recurso.

    Screenshot of the change data capture studio.

    Um novo mapeamento é criado automaticamente para você. Você pode atualizar as seleções Tabela de origem e Tabela de destino para seu mapeamento usando as listas suspensas.

    Screenshot of the source-to-target mapping in the change data capture studio.

  14. Depois de selecionar as tabelas, as colunas delas são mapeadas por padrão com a alternância de mapa automático ativada. O mapa automático mapeia automaticamente as colunas por nome no coletor, seleciona novas alterações de coluna quando o esquema de origem evolui e flui essas informações para os tipos de coletor suportados.

    Screenshot of the toggle for automatic mapping turned on.

    Nota

    A evolução do esquema funciona apenas quando a alternância de mapa automático está ativada. Para saber como editar mapeamentos de coluna ou incluir transformações, consulte Capturar dados alterados com um recurso de captura de dados de alteração.

  15. Selecione o link Chaves e, em seguida, selecione a coluna Chaves a ser usada para controlar as operações de exclusão.

    Screenshot of the link to enable Keys column selection.

    Screenshot of selecting a Keys column for the selected source.

  16. Após a conclusão dos mapeamentos, defina a latência CDC usando o botão Definir latência .

    Screenshot of the Set Latency button at the top of the canvas.

  17. Selecione a latência do CDC e, em seguida, selecione Aplicar para fazer as alterações.

    Por padrão, a latência é definida como 15 minutos. O exemplo neste artigo usa a opção em tempo real para latência. A latência em tempo real capta continuamente as alterações nos dados de origem em intervalos inferiores a 1 minuto.

    Para outras latências (por exemplo, se você selecionar 15 minutos), a captura de dados de alteração processará os dados de origem e coletará todos os dados alterados desde o último tempo processado.

    Screenshot of the options for setting latency.

  18. Depois de concluir a configuração do CDC, selecione Publicar tudo para publicar as alterações.

    Screenshot of the publish button at the top of the canvas.

    Nota

    Se você não publicar suas alterações, não poderá iniciar seu recurso CDC. O botão Iniciar na próxima etapa não estará disponível.

  19. Selecione Iniciar para começar a executar a captura de dados de alteração.

    Screenshot of the Start button at the top of the canvas.

Agora que a captura de dados de alteração está em execução, você pode:

  • Use a página de monitoramento para ver quantas alterações (inserir, atualizar ou excluir) foram lidas e gravadas, juntamente com outras informações de diagnóstico.

    Screenshot of the monitoring page of a selected change data capture.

    Screenshot of the monitoring page of a selected change data capture with a detailed view.

  • Valide se os dados de alteração chegaram ao Delta Lake armazenados no Azure Data Lake Storage Gen2, no formato Delta.

    Screenshot of a target Delta folder.

  • Valide o esquema dos dados de alteração que chegaram.

    Screenshot of a Delta file.

Fazer alterações dinâmicas no nível do esquema nas tabelas de origem

  1. Adicione uma nova coluna PersonalEmail à tabela de origem usando uma ALTER TABLE instrução T-SQL, conforme mostrado no exemplo a seguir.

    Screenshot of the ALTER command in Azure Data Studio.

  2. Valide se a nova coluna PersonalEmail aparece na tabela existente.

    Screenshot of a new table design with a column added for personal email.

Validar alterações de esquema no coletor Delta

Confirme se a nova coluna PersonalEmail aparece no coletor Delta. Agora você sabe que os dados de alteração com alterações de esquema chegaram ao destino.

Screenshot of a Delta file with a schema change.

Conteúdos relacionados