Copiar e transformar dados no servidor SFTP usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como usar a atividade de cópia para copiar dados de e para o servidor FTP seguro (SFTP) e usar o fluxo de dados para transformar dados no servidor SFTP. Para saber mais, leia o artigo introdutório do Azure Data Factory ou do Azure Synapse Analytics.

Capacidades suportadas

Este conector SFTP é suportado para os seguintes recursos:

Capacidades suportadas IR
Atividade de cópia (origem/coletor) ① ②
Mapeando o fluxo de dados (origem/coletor)
Atividade de Pesquisa ① ②
Atividade GetMetadata ① ②
Excluir atividade ① ②

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Especificamente, o conector SFTP suporta:

  • Copiar arquivos de e para o servidor SFTP usando Basic, chave pública SSH ou autenticação multifator.
  • Copiando arquivos como estão ou analisando ou gerando arquivos com os formatos de arquivo suportados e codecs de compressão.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Introdução

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado SFTP usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado SFTP na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

  2. Procure por SFTP e selecione o conector SFTP.

    Screenshot of the SFTP connector.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Screenshot of configuration for an SFTP linked service.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir entidades específicas para SFTP.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado SFTP:

Propriedade Descrição Necessário
tipo A propriedade type deve ser definida como Sftp. Sim
host O nome ou endereço IP do servidor SFTP. Sim
porta A porta na qual o servidor SFTP está escutando.
O valor permitido é um inteiro e o valor padrão é 22.
Não
skipHostKeyValidation Especifique se deseja ignorar a validação da chave do host.
Os valores permitidos são true e false (padrão).
Não
hostKeyFingerprint Especifique a impressão digital da chave do host. Sim, se o "skipHostKeyValidation" estiver definido como false.
authenticationType Especifique o tipo de autenticação.
Os valores permitidos são Basic, SshPublicKey e MultiFactor. Para obter mais propriedades, consulte a seção Usar autenticação básica. Para obter exemplos de JSON, consulte a seção Usar autenticação de chave pública SSH.
Sim
ConecteVia O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Para saber mais, consulte a seção Pré-requisitos . Se o tempo de execução de integração não for especificado, o serviço usará o Tempo de Execução de Integração do Azure padrão. Não

Usar autenticação básica

Para usar a autenticação básica, defina a propriedade authenticationType como Basic e especifique as seguintes propriedades, além das propriedades genéricas do conector SFTP que foram introduzidas na seção anterior:

Propriedade Descrição Necessário
nome de utilizador O usuário que tem acesso ao servidor SFTP. Sim
password A senha do usuário (userName). Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure. Sim

Exemplo:

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": false,
            "hostKeyFingerPrint": "ssh-rsa 2048 xx:00:00:00:xx:00:x0:0x:0x:0x:0x:00:00:x0:x0:00",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Usar autenticação de chave pública SSH

Para usar a autenticação de chave pública SSH, defina a propriedade "authenticationType" como SshPublicKey e especifique as seguintes propriedades além das genéricas do conector SFTP introduzidas na última seção:

Propriedade Descrição Necessário
nome de utilizador O usuário que tem acesso ao servidor SFTP. Sim
privateKeyPath Especifique o caminho absoluto para o arquivo de chave privada que o tempo de execução de integração pode acessar. Isso se aplica somente quando o tipo auto-hospedado de tempo de execução de integração é especificado em "connectVia". Especifique um ou privateKeyPathprivateKeyContent.
privateKeyContent Conteúdo de chave privada SSH codificado em Base64. A chave privada SSH deve ser o formato OpenSSH. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure. Especifique um ou privateKeyPathprivateKeyContent.
frase secreta Especifique a frase secreta ou a palavra-passe para desencriptar a chave privada se o ficheiro de chave ou o conteúdo da chave estiver protegido por uma frase secreta. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure. Sim, se o ficheiro de chave privada ou o conteúdo da chave estiver protegido por uma frase secreta.

Nota

O conector SFTP suporta uma chave OpenSSH RSA/DSA. Certifique-se de que o conteúdo do ficheiro chave começa com "-----BEGIN [RSA/DSA] PRIVATE KEY-----". Se o arquivo de chave privada for um arquivo no formato PPK, use a ferramenta PuTTY para converter do formato PPK para OpenSSH.

Exemplo 1: Autenticação SshPublicKey usando filePath de chave privada

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "xxx",
            "privateKeyPath": "D:\\privatekey_openssh",
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 2: Autenticação SshPublicKey usando conteúdo de chave privada

{
    "name": "SftpLinkedService",
    "type": "Linkedservices",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "<username>",
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 string of the private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Usar autenticação multifator

Para usar a autenticação multifator, que é uma combinação de autenticações de chave pública básica e SSH, especifique o nome de usuário, a senha e as informações da chave privada descritas nas seções acima.

Exemplo: autenticação multifator

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<host>",
            "port": 22,
            "authenticationType": "MultiFactor",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 encoded private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<passphrase for private key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados.

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para SFTP em location configurações no conjunto de dados baseado em formato:

Propriedade Descrição Necessário
tipo A propriedade type em location no conjunto de dados deve ser definida como SftpLocation. Sim
folderPath O caminho para a pasta. Se você quiser usar um curinga para filtrar a pasta, ignore essa configuração e especifique o caminho nas configurações da fonte de atividade. Não
fileName O nome do arquivo sob o folderPath especificado. Se você quiser usar um curinga para filtrar arquivos, ignore essa configuração e especifique o nome do arquivo nas configurações da fonte de atividade. Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "SftpLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades que são suportadas pela fonte SFTP.

SFTP como fonte

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para SFTP nas storeSettings configurações na fonte de cópia baseada em formato:

Propriedade Descrição Necessário
tipo A propriedade type under storeSettings deve ser definida como SftpReadSettings. Sim
Localize os arquivos a serem copiados
OPÇÃO 1: caminho estático
Copie do caminho da pasta/arquivo especificado no conjunto de dados. Se você quiser copiar todos os arquivos de uma pasta, especifique wildcardFileName adicionalmente como *.
OPÇÃO 2: curinga
- wildcardFolderPath
O caminho da pasta com caracteres curinga para filtrar pastas de origem.
Os curingas permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou a um único caractere); use ^ para escapar se o nome da pasta real tiver um curinga ou esse caracter de escape dentro.
Para obter mais exemplos, consulte Exemplos de filtro de pastas e arquivos.
Não
OPÇÃO 2: curinga
- wildcardFileName
O nome do arquivo com caracteres curinga sob o especificado folderPath/wildcardFolderPath para filtrar arquivos de origem.
Os curingas permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou a um único caractere); use ^ para escapar se o nome do arquivo real tiver curinga ou esse caractere de escape dentro. Para obter mais exemplos, consulte Exemplos de filtro de pastas e arquivos.
Sim
OPÇÃO 3: uma lista de ficheiros
- fileListPath
Indica copiar um conjunto de arquivos especificado. Aponte para um arquivo de texto que inclua uma lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados).
Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Para obter mais exemplos, consulte Exemplos de lista de arquivos.
Não
Definições adicionais
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no coletor.
Os valores permitidos são true (padrão) e false.
Esta propriedade não se aplica quando você configura fileListPatho .
Não
deleteFilesAfterCompletion Indica se os arquivos binários serão excluídos do armazenamento de origem depois de serem movidos com êxito para o repositório de destino. A exclusão do arquivo é por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem.
Esta propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão: false.
Não
modifiedDatetimeStart Os arquivos são filtrados com base no atributo Última modificação.
Os arquivos são selecionados se o tempo da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário UTC no formato de 2018-12-01T05:00:00Z.
As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tem um valor datetime, mas modifiedDatetimeEnd é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.
Esta propriedade não se aplica quando você configura fileListPatho .
Não
modifiedDatetimeEnd Mesmo que acima. Não
enablePartitionDiscovery Para arquivos particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais.
Os valores permitidos são false (padrão) e true.
Não
partitionRootPath Quando a descoberta de partições estiver habilitada, especifique o caminho raiz absoluto para ler pastas particionadas como colunas de dados.

Se não for especificado, por padrão,
- Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho da raiz da partição é o caminho configurado no conjunto de dados.
- Quando você usa o filtro de pasta curinga, o caminho da raiz da partição é o subcaminho antes do primeiro curinga.

Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27":
- Se você especificar o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gerará mais duas colunas e com o valor "08" e day "27", respectivamente, além das colunas month dentro dos arquivos.
- Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.
Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas. Não
disableChunking Ao copiar dados do SFTP, o serviço tenta obter o comprimento do arquivo primeiro, em seguida, dividir o arquivo em várias partes e lê-los em paralelo. Especifique se o seu servidor SFTP suporta obter o comprimento do arquivo ou procurar ler a partir de um determinado deslocamento.
Os valores permitidos são false (padrão), true.
Não

Exemplo:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "SftpReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv",
                    "disableChunking": false
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

SFTP como um coletor

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para SFTP em configurações em um coletor de cópia baseado em storeSettings formato:

Propriedade Descrição Necessário
tipo A propriedade type under storeSettings deve ser definida como SftpWriteSettings. Sim
copyBehavior Define o comportamento de cópia quando a origem são arquivos de um armazenamento de dados baseado em arquivo.

Os valores permitidos são:
- PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino.
- FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm nomes gerados automaticamente.
- MergeFiles: Mescla todos os arquivos da pasta de origem para um arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, é um nome de arquivo gerado automaticamente.
Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas. Não
useTempFileRename Indique se deseja fazer upload para arquivos temporários e renomeá-los ou gravar diretamente na pasta de destino ou no local do arquivo. Por padrão, o serviço primeiro grava em arquivos temporários e, em seguida, os renomeia quando o carregamento é concluído. Essa sequência ajuda a (1) evitar conflitos que podem resultar em um arquivo corrompido se você tiver outros processos gravando no mesmo arquivo e (2) garantir que a versão original do arquivo exista durante a transferência. Se o seu servidor SFTP não suportar uma operação de renomeação, desative essa opção e certifique-se de que você não tenha uma gravação simultânea no arquivo de destino. Para obter mais informações, consulte a dica de solução de problemas no final desta tabela. Não O valor padrão é true.
operaçãoTimeout O tempo de espera antes que cada solicitação de gravação no servidor SFTP atinja o tempo limite. O valor padrão é 60 min (01:00:00). Não

Gorjeta

Se você receber o erro "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" ou "SftpOperationFail" quando estiver gravando dados no SFTP, e o usuário SFTP que você usa tiver as permissões adequadas, verifique se a operação de renomeação do arquivo de suporte do servidor SFTP está funcionando. Se não estiver, desative a opção Carregar com arquivo temporário (useTempFileRename) e tente novamente. Para saber mais sobre essa propriedade, consulte a tabela anterior. Se você usar um tempo de execução de integração auto-hospedado para a atividade Copiar, certifique-se de usar a versão 4.6 ou posterior.

Exemplo:

"activities":[
    {
        "name": "CopyToSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings":{
                    "type": "SftpWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante do uso de filtros curinga com caminhos de pasta e nomes de arquivo.

folderPath fileName recursiva Estrutura da pasta de origem e resultado do filtro (arquivos em negrito são recuperados)
Folder* (vazio, use padrão) false PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv
Folder* (vazio, use padrão) verdadeiro PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv
Folder* *.csv false PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv
Folder* *.csv verdadeiro PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv

Exemplos de lista de ficheiros

Esta tabela descreve o comportamento resultante do uso de um caminho de lista de arquivos na fonte de atividade Copiar. Ele pressupõe que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos que estão em negrito:

Estrutura de origem da amostra Conteúdo em FileListToCopy.txt Configuração do Azure Data Factory
raiz
    PastaA
        Ficheiro1.csv
        Arquivo2.json
        Subpasta1
            Ficheiro3.csv
            Arquivo4.json
            Ficheiro5.csv
    Metadados
        FileListToCopy.txt
Ficheiro1.csv
Subpasta1/Ficheiro3.csv
Subpasta1/Ficheiro5.csv
No conjunto de dados:
- Caminho da pasta: root/FolderA

Na fonte da atividade Copiar:
- Caminho da lista de arquivos: root/Metadata/FileListToCopy.txt

O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados).

Mapeando propriedades de fluxo de dados

Ao transformar dados em fluxos de dados de mapeamento, você pode ler e gravar arquivos do SFTP nos seguintes formatos:

As configurações específicas do formato estão localizadas na documentação desse formato. Para obter mais informações, consulte Transformação de origem no mapeamento de fluxo de dados e Transformação de coletor no mapeamento de fluxo de dados.

Nota

A validação de chave de host SSH não é suportada no mapeamento do fluxo de dados agora.

Nota

Para acessar o servidor SFTP local, você precisa usar o Azure Data Factory ou a Rede Virtual Gerenciada do espaço de trabalho Synapse usando um ponto de extremidade privado. Consulte este tutorial para obter etapas detalhadas.

Transformação da fonte

A tabela abaixo lista as propriedades suportadas pela fonte SFTP. Você pode editar essas propriedades na guia Opções de origem . Ao usar o conjunto de dados embutido, você verá configurações adicionais, que são as mesmas que as propriedades descritas na seção de propriedades do conjunto de dados.

Nome Descrição Necessário Valores permitidos Propriedade do script de fluxo de dados
Caminho curinga O uso de um padrão curinga instruirá o ADF a percorrer cada pasta e arquivo correspondentes em uma única transformação de origem. Esta é uma maneira eficaz de processar vários arquivos dentro de um único fluxo. Não String[] wildcardCaminhos
Caminho da raiz da partição Se você tiver pastas particionadas em sua fonte de arquivos com um formato (por exemplo, year=2019), poderá atribuir o nível superior dessa árvore de pastas de partição a um key=value nome de coluna no fluxo de dados de fluxo de dados. Não String partitionRootPath
Não permitir que nenhum arquivo seja encontrado Se verdadeiro, um erro não é lançado se nenhum arquivo for encontrado. Não true ou false ignoreNoFilesFound
Lista de ficheiros Este é um conjunto de ficheiros. Crie um arquivo de texto que inclua uma lista de arquivos de caminho relativos a serem processados. Aponte para este ficheiro de texto. Não true ou false Lista de arquivos
Coluna para armazenar o nome do arquivo Armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna aqui para armazenar a cadeia de caracteres de nome de arquivo. Não String rowUrlColumn
Após a conclusão Escolha não fazer nada com o arquivo de origem depois que o fluxo de dados for executado, exclua o arquivo de origem ou mova o arquivo de origem. Os caminhos para a mudança são relativos. Não Eliminar: true ou false
Movimente-se: ['<from>', '<to>']
purgeFiles
moveFiles
Filtrar por última modificação Você pode filtrar quais arquivos você processa especificando um intervalo de datas de quando eles foram modificados pela última vez. Todas as datas e horas estão em UTC. Não Carimbo de Data/Hora modificadoApós
modificadoAntes

Exemplo de script de origem SFTP

Quando você usa o conjunto de dados SFTP como tipo de origem, o script de fluxo de dados associado é:

source(allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: true,
	purgeFiles: true,
	fileList: true,
	modifiedAfter: (toTimestamp(1647388800000L)),
	modifiedBefore: (toTimestamp(1647561600000L)),
	partitionRootPath: 'partdata',
	wildcardPaths:['partdata/**/*.csv']) ~> SFTPSource

Transformação do lavatório

A tabela abaixo lista as propriedades suportadas pelo coletor SFTP. Você pode editar essas propriedades na guia Configurações . Ao usar o conjunto de dados embutido, você verá configurações adicionais, que são as mesmas que as propriedades descritas na seção de propriedades do conjunto de dados.

Nome Descrição Necessário Valores permitidos Propriedade do script de fluxo de dados
Limpar a pasta Determina se a pasta de destino é ou não limpa antes que os dados sejam gravados. Não true ou false truncate
Opção de nome de arquivo O formato de nomenclatura dos dados gravados. Por padrão, um arquivo por partição no formato part-#####-tid-<guid>. Não Padrão: String
Por partição: String[]
Arquivo de nome como dados de coluna: String
Pasta de nome como dados de coluna: String
Saída para um único arquivo: ['<fileName>']
filePattern
partitionFileNames
rowUrlColumn
rowFolderUrlColumn
partitionFileNames
Citar tudo Determina se todos os valores devem ser colocados entre aspas. Não true ou false citaçãoTodos

Exemplo de script de coletor SFTP

Quando você usa o conjunto de dados SFTP como tipo de coletor, o script de fluxo de dados associado é:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	filePattern:'loans[n].csv',
	truncate: true,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SFTPSink

Propriedades da atividade de pesquisa

Para obter informações sobre as propriedades da atividade de pesquisa, consulte Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para obter informações sobre as propriedades da atividade GetMetadata, consulte Atividade GetMetadata.

Excluir propriedades de atividade

Para obter informações sobre Excluir propriedades de atividade, consulte Excluir atividade.

Modelos antigos

Nota

Os seguintes modelos ainda são suportados, assim como para compatibilidade com versões anteriores. Recomendamos que você use o novo modelo discutido anteriormente, porque a interface do usuário de criação mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade Descrição Necessário
tipo A propriedade type do conjunto de dados deve ser definida como FileShare. Sim
folderPath O caminho para a pasta. Há suporte para um filtro curinga. Os curingas permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou a um único caractere); use ^ para escapar se o nome do arquivo real tiver um curinga ou esse caracter de escape dentro.

Exemplos: rootfolder/subfolder/, veja mais exemplos em Exemplos de filtros de pastas e ficheiros.
Sim
fileName Nome ou filtro curinga para os arquivos sob o especificado "folderPath". Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta.

Para filtro, os curingas permitidos são * (corresponde a zero ou mais caracteres) e (corresponde a zero ou a um único caractere ? ).
- Exemplo 1: "fileName": "*.csv"
- Exemplo 2: "fileName": "???20180427.txt"
Use ^ para escapar se o nome da pasta real tiver curinga ou esse caracter de escape dentro.
Não
modifiedDatetimeStart Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário UTC no formato de 2018-12-01T05:00:00Z.

O desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você quiser fazer o filtro de arquivos de um grande número de arquivos.

As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tem um valor datetime, mas modifiedDatetimeEnd é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.
Não
modifiedDatetimeEnd Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário UTC no formato de 2018-12-01T05:00:00Z.

O desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você quiser fazer o filtro de arquivos de um grande número de arquivos.

As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tem um valor datetime, mas modifiedDatetimeEnd é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.
Não
format Se você quiser copiar arquivos como está entre armazenamentos baseados em arquivo (cópia binária), ignore a seção de formato nas definições de conjunto de dados de entrada e saída.

Se você quiser analisar arquivos com um formato específico, os seguintes tipos de formato de arquivo são suportados: TextFormat, JsonFormat, AvroFormat, OrcFormat e ParquetFormat. Defina a propriedade type em format como um desses valores. Para obter mais informações, consulte Seções Formato de texto, formato Json, formato Avro, formato Orc e formato Parquet.
Não (apenas para o cenário de cópia binária)
compressão Especifique o tipo e o nível de compactação dos dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação suportados.
Os tipos suportados são GZip, Deflate, BZip2 e ZipDeflate.
Os níveis suportados são Ótimos e Mais Rápidos.
Não

Gorjeta

Para copiar todos os arquivos em uma pasta, especifique somente folderPath .
Para copiar um único arquivo com um nome especificado, especifique folderPath com a parte da pasta e fileName com o nome do arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com a parte da pasta e fileName com o filtro curinga.

Nota

Se você estava usando a propriedade fileFilter para o filtro de arquivo, ela ainda é suportada como está, mas recomendamos que você use o novo recurso de filtro adicionado a fileName a partir de agora.

Exemplo:

{
    "name": "SFTPDataset",
    "type": "Datasets",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem da atividade de cópia herdada

Propriedade Descrição Necessário
tipo A propriedade type da fonte de atividade Copy deve ser definida como FileSystemSource Sim
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, pastas e subpastas vazias não serão copiadas ou criadas no coletor.
Os valores permitidos são true (padrão) e false
Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas. Não

Exemplo:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SFTP input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade Copiar, consulte Armazenamentos de dados suportados.