Processar arquivos de texto de comprimento fixo usando fluxos de dados de mapeamento do Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Ao usar fluxos de dados de mapeamento no Microsoft Azure Data Factory, você pode transformar dados de arquivos de texto de largura fixa. Na tarefa a seguir, definiremos um conjunto de dados para um arquivo de texto sem um delimitador e, em seguida, configuraremos divisões de substrings com base na posição ordinal.

Criar um pipeline

  1. Selecione +Novo Pipeline para criar um pipeline.

  2. Adicione uma atividade de fluxo de dados, que será usada para processar arquivos de largura fixa:

    Pipeline de largura fixa

  3. Na atividade fluxo de dados, selecione Novo fluxo de dados de mapeamento.

  4. Adicione uma transformação de Origem, Coluna Derivada, Seleção e Coletor:

    Fluxo de dados de largura fixa

  5. Configure a transformação de Origem para usar um novo conjunto de dados, que será do tipo de texto delimitado.

  6. Não defina nenhum delimitador de colunas ou cabeçalho.

    Agora, vamos definir pontos de início de campo e comprimentos para o conteúdo deste arquivo:

    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    1234567813572468
    
  7. Na guia Projeção da transformação de Origem, você verá uma coluna de cadeia de caracteres denominada Column_1.

  8. Na coluna Derivada, crie uma coluna nova.

  9. Forneceremos nomes simples de colunas como col1.

  10. No construtor de expressões, digite o seguinte:

    substring(Column_1,1,4)

    coluna derivada

  11. Repita a etapa 10 para todas as colunas que você precisa analisar.

  12. Selecione a guia Inspecionar para ver as novas colunas que serão geradas:

    inspecionar

  13. Use a transformação de Seleção para remover qualquer uma das colunas que você não precisa para a transformação:

    transformação de seleção

  14. Use Coletor para fazer a saída dos dados para uma pasta:

    coletor de largura fixa

    Veja abaixo a aparência da saída:

    saída de largura fixa

Os dados de largura fixa agora são divididos, com quatro caracteres cada e atribuídos a Col1, Col2, Col3, Col4 e assim por diante. Com base no exemplo anterior, os dados são divididos em quatro colunas.

Próximas etapas

  • Compile o restante da lógica de fluxo de dados usando as transformações de fluxos de dados de mapeamento.