Depurar o fluxo de dados de mapeamento
Durante a criação de fluxos de dados de mapeamento, você pode observar interativamente como as transformações de dados estão sendo executadas para que você possa depurá-las. Para usar essa funcionalidade, primeiro é necessário ativar o recurso "Depuração de Fluxo de Dados".
Clicar em Depurar provisionará os clusters Spark necessários para interagir com as transformações de Fluxo de Dados de Mapeamento. Ao ativar a depuração, você será solicitado a selecionar o Integration Runtime que precisa usar no ambiente. Se você selecionar AutoResolveIntegrationRuntime, um cluster com oito núcleos estará disponível com um valor de vida útil de 60 minutos.
Observação
Geralmente leva de cinco a sete minutos para o cluster ser ativado. Com esse modo ativado e os clusters do Spark em execução, você pode criar o fluxo de dados passo a passo e ver os dados conforme eles são executados em cada fase de transformação.
Uma guia Visualização de Dados está disponível no modo de depuração, que permitirá que você veja os dados em cada fase do pipeline. Você pode ver os dados após cada transformação. O pré-visualizador de dados também permite realizar ações sobre os dados, como examinar estatísticas descritivas dos dados ou modificar os dados.
Por fim, você pode usar as configurações de depuração para controlar o número de linhas retornadas no pré-visualizador de dados.
Observação
É recomendável limitar o número de linhas que retorna o suficiente para permitir que você confirme se os dados estão corretos. Quanto maior o conjunto de dados, mais tempo levará para retornar os resultados. Você também pode usar as configurações de depuração para especificar os valores de parâmetro que devem ser usados durante a execução do pipeline.