Capturar dados alterados do Azure Data Lake Storage Gen2 para o Banco de Dados SQL do Azure usando um recurso de captura de dados de alteração

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Neste artigo, você usa a interface do usuário do Azure Data Factory para criar um recurso CDC (captura de dados de alteração). O recurso pega dados alterados de uma fonte do Azure Data Lake Storage Gen2 e os adiciona ao Banco de Dados SQL do Azure em tempo real.

Neste artigo, vai aprender a:

  • Crie um recurso CDC.
  • Monitore a atividade do CDC.

Você pode modificar e expandir o padrão de configuração neste artigo.

Pré-requisitos

Antes de iniciar os procedimentos neste artigo, certifique-se de que tem estes recursos:

  • Subscrição do Azure. Se você não tiver uma assinatura do Azure, crie uma conta gratuita do Azure.
  • Banco de dados SQL. Você usa o Banco de Dados SQL do Azure como um armazenamento de dados de origem. Se você não tiver um banco de dados SQL, crie um no portal do Azure.
  • Conta de armazenamento. Você usa o Delta Lake armazenado no Azure Data Lake Storage Gen2 como um armazenamento de dados de destino. Se você não tiver uma conta de armazenamento, consulte Criar uma conta de armazenamento para conhecer as etapas para criar uma.

Criar um artefato CDC

  1. Vá para o painel Autor no seu data factory. Abaixo de Pipelines, um novo artefato de nível superior chamado Change Data Capture (visualização) é exibido.

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. Passe o cursor sobre Alterar captura de dados (visualização) até que três pontos apareçam. Em seguida, selecione Alterar ações de captura de dados (visualização).

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. Selecione Novo CDC (visualização). Esta etapa abre um submenu para iniciar o processo guiado.

    Screenshot of a list of change data capture actions.

  4. Você será solicitado a nomear seu recurso CDC. Por padrão, o nome é "adfcdc" com um número que aumenta em 1. Você pode substituir esse nome padrão por um nome que você escolher.

    Screenshot of the text box to update the name of a resource.

  5. Use a lista suspensa para escolher sua fonte de dados. Para este artigo, selecione DelimitedText.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. Você será solicitado a selecionar um serviço vinculado. Crie um novo serviço vinculado ou selecione um existente.

    Screenshot of the box to choose or create a linked service.

  7. Use a área Configurações de origem para definir opcionalmente configurações avançadas de origem , incluindo delimitadores de coluna e linha.

    Screenshot of advanced source settings to set delimiters.

    Se você não editar manualmente essas configurações de origem, elas serão definidas como padrão.

  8. Use o botão Procurar para selecionar sua pasta de dados de origem.

    Screenshot of a folder icon to browse for a folder path.

  9. Depois de selecionar um caminho de pasta, selecione Continuar para definir o destino de dados.

    Screenshot of the Continue button in the guided process to select data targets.

    Você pode optar por adicionar várias pastas de origem usando o botão de adição (+). As outras fontes também devem usar o mesmo serviço vinculado que você já selecionou.

  10. Selecione um valor de Tipo de destino usando a lista suspensa. Para este artigo, selecione Banco de Dados SQL do Azure.

    Screenshot of a dropdown menu of all data target types.

  11. Você será solicitado a selecionar um serviço vinculado. Crie um novo serviço vinculado ou selecione um existente.

    Screenshot of the box to choose or create a linked service to your data target.

  12. Para tabelas de destino, você pode criar uma nova tabela de destino ou selecionar uma existente:

    • Para criar uma tabela de destino, selecione a guia Novas entidades e, em seguida, selecione Editar novas tabelas.

      Screenshot of the tab to create new tables for your target.

    • Para selecionar uma tabela existente, selecione a guia Entidades existentes e use a caixa de seleção para escolher uma tabela. Use o botão Visualizar para exibir os dados da tabela.

      Screenshot of the tab to choose tables for your target.

    Se as tabelas existentes no destino tiverem nomes correspondentes, elas serão selecionadas por padrão em Entidades existentes. Caso contrário, novas tabelas com nomes correspondentes são criadas em Novas entidades. Além disso, você pode editar novas tabelas usando o botão Editar novas tabelas .

  13. Você pode usar as caixas de seleção para escolher várias tabelas de destino do seu banco de dados SQL. Depois de terminar de escolher as tabelas de destino, selecione Continuar.

    Screenshot of the Continue button in the guided process to proceed to the next step.

  14. Uma nova guia para capturar dados de alteração é exibida. Esta guia é o estúdio CDC, onde você pode configurar seu novo recurso.

    Screenshot of the change data capture studio.

    Um novo mapeamento é criado automaticamente para você. Você pode atualizar as seleções Tabela de origem e Tabela de destino para seu mapeamento usando as listas suspensas.

    Screenshot of the source-to-target mapping in the change data capture studio.

  15. Depois de selecionar as tabelas, as colunas delas são mapeadas por padrão com a alternância de mapa automático ativada. O mapa automático mapeia automaticamente as colunas por nome no coletor, seleciona novas alterações de coluna quando o esquema de origem evolui e flui essas informações para os tipos de coletor suportados.

    Se você quiser usar o mapa automático e não alterar nenhum mapeamento de coluna, vá diretamente para a etapa 18.

    Screenshot of the toggle for automatic mapping turned on.

    Se quiser habilitar os mapeamentos de coluna, selecione os mapeamentos e desative a alternância de mapa automático. Em seguida, selecione o botão Mapeamentos de coluna para exibir os mapeamentos.

    Screenshot of mapping selection, the toggle for automatic mapping turned off, and the button for column mappings.

    Você pode voltar para o mapeamento automático a qualquer momento, ativando a alternância de mapa automático.

  16. Veja os mapeamentos de coluna. Use as listas suspensas para editar os mapeamentos de coluna para o método Mapeamento, a coluna Origem e a coluna Destino.

    Screenshot of the page for editing column mappings.

    Nesta página, pode:

    • Adicione mais mapeamentos de coluna usando o botão Novo mapeamento . Use as listas suspensas para fazer seleções para o método Mapeamento, a coluna Origem e a coluna Destino.
    • Selecione a coluna Chaves se quiser controlar a operação de exclusão para tipos de coletor suportados.
    • Selecione o botão Atualizar em Visualização de dados para visualizar a aparência dos dados no destino.

    Screenshot of the button for adding column mappings, the dropdown list for mapping methods, the Keys column, and the Refresh button.

  17. Quando o mapeamento estiver concluído, selecione o botão de seta para retornar à tela CDC principal.

    Screenshot of the button to go back to the table mapping page.

  18. Você pode adicionar mais mapeamentos de origem para destino em um artefato CDC. Use o botão Editar para adicionar mais fontes de dados e destinos. Em seguida, selecione Novo mapeamento e use as listas suspensas para definir uma nova origem e destino. Você pode ativar ou desativar o Mapa automático para cada um desses mapeamentos de forma independente.

    Screenshot of the button to add new sources and the button to set a new source-to-target mapping.

  19. Após a conclusão dos mapeamentos, defina a latência CDC usando o botão Definir latência .

    Screenshot of the Set Latency button at the top of the canvas.

  20. Selecione a latência do CDC e, em seguida, selecione Aplicar para fazer as alterações.

    Por padrão, a latência é definida como 15 minutos. O exemplo neste artigo usa a opção em tempo real para latência. A latência em tempo real capta continuamente as alterações nos dados de origem em intervalos inferiores a 1 minuto.

    Para outras latências (por exemplo, se você selecionar 15 minutos), a captura de dados de alteração processará os dados de origem e coletará todos os dados alterados desde o último tempo processado.

    Screenshot of the options for setting latency.

    Nota

    Se o suporte for estendido à integração de dados de streaming (Hubs de Eventos do Azure e fontes de dados Kafka), a latência será definida como Tempo real por padrão.

  21. Depois de concluir a configuração do CDC, selecione Publicar tudo para publicar as alterações.

    Screenshot of the publish button at the top of the canvas.

    Nota

    Se você não publicar suas alterações, não poderá iniciar seu recurso CDC. O botão Iniciar na próxima etapa não estará disponível.

  22. Selecione Iniciar para começar a executar a captura de dados de alteração.

    Screenshot of the Start button at the top of the canvas.

Monitore sua captura de dados de alteração

  1. Abra o painel Monitor usando um destes métodos:

    • Selecione Monitor no portal do Azure.

      Screenshot of the Monitor button in the Azure portal.

    • Selecione o ícone de monitoramento no designer CDC.

      Screenshot of the monitoring icon at the top of the CDC canvas.

  2. Selecione Alterar captura de dados (visualização) para visualizar seus recursos CDC.

    Screenshot of the Change Data Capture button.

    O painel Captura de Dados de Alteração mostra as informações de Origem, Destino, Status e Última captura de dados para sua captura de dados de alteração.

    Screenshot of an overview of the change data capture monitoring page.

  3. Selecione o nome do seu CDC para ver mais detalhes. Você pode ver quantas alterações (inserir, atualizar ou excluir) foram lidas e gravadas, juntamente com outras informações de diagnóstico.

    Screenshot of the detailed monitoring of a selected change data capture.

    Se você configurar vários mapeamentos na captura de dados de alteração, cada mapeamento aparecerá como uma cor diferente. Selecione a barra para ver detalhes específicos para cada mapeamento ou use as informações de diagnóstico na parte inferior do painel.

    Screenshot of the detailed monitoring information for a change data capture with multiple source-to-target mappings.

    Screenshot of a detailed breakdown of each mapping in a change data capture artifact.

Conteúdos relacionados