Gerenciar o processo SAP CDC
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Depois de criar um pipeline e mapear o fluxo de dados no Azure Data Factory usando o conector SAP CDC, é importante gerenciar o processo ETL adequadamente.
Executar um pipeline de replicação de dados SAP em um cronograma recorrente
Para executar um pipeline de replicação de dados SAP em um cronograma recorrente com uma frequência especificada:
Crie um gatilho de janela de tombamento que execute o pipeline de replicação de dados SAP com freqüência. Defina a simultaneidade máxima como 1.
Para obter mais informações, consulte Criar um gatilho que executa um pipeline em uma janela de tombamento.
Adicione uma autodependência no gatilho da janela de tombamento para que uma execução de pipeline subsequente sempre aguarde até que as execuções anteriores do pipeline sejam concluídas com êxito.
Para obter mais informações, consulte Criar uma dependência de gatilho de janela de tombamento.
Monitore os fluxos de dados do SAP CDC
Para monitorar o status e o progresso de um fluxo de dados SAP CDC em execução, abra a ferramenta Monitor e selecione a execução do pipeline. Selecione o ícone Detalhes do fluxo de dados na tabela de atividades na parte inferior da tela.
Isso leva você ao monitor de fluxo de dados. Clicar no ícone de fonte no diagrama de fluxo de dados na parte superior abrirá a seção de diagnóstico detalhado da fonte na parte inferior.
O "SAP to stage subscriber process" (não mostrado para cargas completas) ajuda a identificar seu processo SAP CDC dentro das ferramentas de monitoramento do sistema de origem SAP.
A seção "SAP to stage", que é atualizada periodicamente enquanto a extração do sistema de origem SAP ainda está em execução, mostra o progresso do processo de extração.
Quando uma execução de fluxo de dados é concluída com êxito, o monitor de fluxo de dados mostra informações detalhadas sobre o processo de extração do SAP. Além de informações de tempo de execução, como hora de início e duração, você também encontra o número de linhas copiadas do SAP na linha Linhas copiadas e o número de linhas passadas da origem para a próxima transformação (neste caso, a transformação do coletor) na linha Linhas calculadas. Observe que as Linhas calculadas podem ser menores do que as Linhas copiadas: depois de extrair os registros de dados alterados do sistema SAP, o fluxo de dados executa uma desduplicação das linhas alteradas com base na definição de chave. Apenas o registro mais recente é transmitido mais abaixo no fluxo de dados.
Monitore extrações de dados em sistemas SAP
Para monitorar extrações de dados em sistemas SAP:
Na ferramenta SAP Logon no sistema de origem SAP, execute o código de transação ODQMON.
Em Assinante, insira o valor da propriedade Nome do assinante do serviço vinculado SAP CDC. Na lista suspensa Seleção de Solicitação, selecione Tudo para mostrar todas as extrações de dados que usam o serviço vinculado.
Você pode ver todos os processos de assinantes registrados na fila delta operacional (ODQ). Os processos do assinante representam extrações de dados do fluxo de dados de mapeamento do Azure Data Factory que usam seu serviço vinculado SAP CDC. Para cada assinatura ODQ, você pode olhar para os detalhes para ver todas as extrações completas e delta. Para cada extração, você pode ver pacotes de dados individuais que foram consumidos.
Quando os fluxos de dados de mapeamento do Data Factory que extraem dados SAP não forem mais necessários, você deverá excluir suas assinaturas do ODQ. Quando você exclui assinaturas ODQ, os sistemas SAP podem parar de rastrear seus estados de assinatura e remover os pacotes de dados não consumidos do ODQ. Para excluir uma assinatura ODQ, selecione a assinatura e selecione o ícone Excluir.
Solucionar problemas de alterações delta
O conector SAP CDC no Data Factory lê as alterações delta da estrutura SAP ODP. Os deltas são registados em tabelas ODQ.
Em cenários em que a movimentação de dados funciona (o mapeamento de fluxos de dados termina sem erros), mas os dados não são entregues corretamente (nenhum dado ou talvez apenas um subconjunto dos dados esperados), você deve primeiro verificar no ODQMON se o número de registros fornecidos no lado SAP corresponde ao número de linhas transferidas pelo Data Factory. Se corresponderem, o problema não está relacionado ao Data Factory, mas provavelmente vem de uma configuração incorreta ou ausente no lado do SAP.
Solucionar problemas no SAP usando ODQMON
Para analisar quais dados o sistema SAP forneceu para seu cenário, inicie a transação ODQMON em seu sistema back-end SAP. Se você estiver usando o SAP Landscape Transformation Replication Server (SLT) com um servidor autônomo, inicie a transação lá.
Para localizar os ODQs que correspondem aos seus fluxos de dados de mapeamento, use as opções de filtro. Na Fila, você pode usar curingas para restringir a pesquisa. Por exemplo, você pode pesquisar pelo nome da tabela EKKO.
Marque a caixa de seleção Calcular Volume de Dados para ver detalhes sobre o número de linhas e o volume de dados (em bytes) contidos nos ODQs.
Para exibir as assinaturas do ODQ, clique duas vezes na fila. Um ODQ pode ter vários assinantes, portanto, verifique o nome do assinante que você inseriu no serviço vinculado do Data Factory. Escolha a assinatura que tem um carimbo de data/hora que mais se aproxima da hora em que o fluxo de dados de mapeamento foi executado. Para assinaturas delta, a primeira execução do fluxo de dados de mapeamento para a assinatura é registrada no lado SAP.
Na assinatura, uma lista de solicitações corresponde ao mapeamento do fluxo de dados executado no Data Factory. Na figura a seguir, você vê o resultado de quatro execuções de fluxo de dados de mapeamento:
Com base no carimbo de data/hora na primeira linha, localize a linha que corresponde à execução do fluxo de dados de mapeamento que você deseja analisar. Se o número de linhas mostrado for igual ao número de linhas lidas pelo fluxo de dados de mapeamento, você verificou que o Data Factory leu e transferiu os dados conforme fornecido pelo sistema SAP. Nesse cenário, recomendamos que você consulte a equipe responsável pelo seu sistema SAP.
Conteúdos relacionados
Saiba mais sobre conectores SAP.