Descrever os tipos de transformação do Azure Data Factory
Os Fluxos de Dados de Mapeamento fornecem vários tipos de transformações diferentes que permitem modificar os dados. Eles são divididos nas seguintes categorias:
| Nome da categoria | Descrição |
|---|---|
| Transformações modificadoras de esquema | Esses tipos de transformações farão uma modificação em um destino de coletor criando colunas com base na ação da transformação. Um exemplo disso é a transformação coluna derivada, que criará uma coluna com base nas operações executadas na coluna existente. |
| Transformações modificadoras de linha | Esses tipos de transformações afetam a forma como as linhas são apresentadas no destino. Um exemplo disso é uma transformação classificação que ordena os dados. |
| Transformações de entradas/saídas múltiplas | Esses tipos de transformações vão gerar pipelines de dados ou mesclar os pipelines em um. Um exemplo disso é a transformação de União, que combina vários fluxos de dados. |
Abaixo está uma lista de transformações que estão disponíveis nos Fluxos de Dados de Mapeamento
| Nome | Categoria | Descrição |
|---|---|---|
| Aggregate | Modificador de esquema | Defina diferentes tipos de agregações como SUM, MIN, MAX e COUNT agrupados por colunas computadas ou existentes. |
| Alterar linha | Modificador de linha | Defina as políticas de inserção, exclusão, atualização e upsert em linhas. Você pode adicionar condições de um para muitos como expressões. Essas condições devem ser especificadas em ordem de prioridade, pois cada linha será marcada com a política relativa à primeira expressão correspondente. Cada uma dessas condições pode resultar em uma ou mais linhas serem inseridas, atualizadas, excluídas ou introduzidas. Alterar Linha pode produzir as ações DDL e DML no banco de dados. |
| Divisão condicional | Várias entradas/saídas | Encaminhe linhas de dados para fluxos diferentes com base em condições correspondentes. |
| Coluna derivada | Modificador de esquema | Gere colunas ou modifique campos usando a linguagem de expressão de fluxo de dados. |
| Exists | Várias entradas/saídas | Verifique se os dados existem em outra fonte ou fluxo. |
| Filter | Modificador de linha | Filtre uma linha com base em uma condição. |
| Mesclar | Modificador de esquema | Pegue valores de matriz dentro de estruturas hierárquicas, como JSON, e os registre em linhas individuais. |
| Join | Várias entradas/saídas | Combine dados de duas origens ou fluxos. |
| Pesquisar | Várias entradas/saídas | Permite que você referencie dados de outra fonte. |
| Novo branch | Várias entradas/saídas | Aplique vários conjuntos de operações e transformações ao mesmo fluxo de dados. |
| Pivô | Modificador de esquema | Uma agregação em que uma ou mais colunas de agrupamento tem seus valores de linha distintos transformados em colunas individuais. |
| Selecionar | Modificador de esquema | Colunas de alias e nomes de fluxo e remover ou reordenar colunas. |
| Coletor | - | Um destino para seus dados. |
| Sort | Modificador de linha | Classifique as linhas de entrada no fluxo de dados atual. |
| Origem | - | Uma fonte de dados para o fluxo de dados. |
| Chave alternativa | Modificador de esquema | Adicione um valor de chave arbitrária não empresarial incremental. |
| Union | Várias entradas/saídas | Combine vários fluxos de dados verticalmente. |
| Não Dinâmico | Modificador de esquema | Dinamize colunas em valores de linha. |
| Window | Modificador de esquema | Define agregações baseadas em janela de colunas em seus fluxos de dados. |
Construtor de Expressões de Fluxo de Dados
Algumas das transformações que você pode definir têm um Construtor de Expressões de Fluxo de Dados que permitirá personalizar a funcionalidade de uma transformação usando colunas, campos, variáveis, parâmetros e funções do fluxo de dados nessas caixas.
Para construir a expressão, use o Construtor de Expressões que é iniciado clicando na caixa de texto de expressões dentro da transformação. Às vezes, você também verá opções de "Coluna Computada" ao selecionar colunas para transformação. Ao clicar nessa opção, você também verá a inicialização do Construtor de Expressões.
A ferramenta Construtor de Expressões usa como padrão a opção do editor de texto. O recurso de preenchimento automático lê todo o modelo de objeto do Fluxo de Dados do Azure Data Factory com verificação e destaque de sintaxe.