Partilhar via

Copiar dados do servidor FTP usando o Azure Data Factory ou o Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como copiar dados do servidor FTP. Para saber mais, leia os artigos introdutórios do Azure Data Factory e do Synapse Analytics.

Capacidades suportadas

Este conector FTP é suportado para as seguintes capacidades:

Capacidades suportadas IR
Atividade de cópia (fonte/-) ① ②
Atividade de Pesquisa ① ②
Atividade GetMetadata ① ②
Excluir atividade ① ②

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Especificamente, este conector FTP suporta:

  • Copiar ficheiros utilizando autenticação Básica ou Anónima .
  • Copiar ficheiros no estado em que se encontram ou analisar ficheiros com os formatos de ficheiro suportados e codecs de compressão.

O conector FTP suporta o servidor FTP em execução no modo passivo. O modo ativo não é suportado.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Introdução

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado a um servidor FTP usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado a um servidor FTP na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

  2. Procure FTP e selecione o conector FTP.

    Screenshot of the FTP connector.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Screenshot of linked service configuration for an FTP server.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir entidades específicas para FTP.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado FTP:

Propriedade Descrição Necessário
tipo A propriedade type deve ser definida como: FtpServer. Sim
host Especifique o nome ou endereço IP do servidor FTP. Sim
porta Especifique a porta na qual o servidor FTP está escutando.
Os valores permitidos são: inteiro, o valor padrão é 21.		 Não
habilitarSsl Especifique se deseja usar FTP em um canal SSL/TLS.
Os valores permitidos são: true (padrão), false.		 Não
enableServerCertificateValidation Especifique se deseja habilitar a validação do certificado TLS/SSL do servidor quando estiver usando FTP sobre o canal SSL/TLS.
Os valores permitidos são: true (padrão), false.		 Não
authenticationType Especifique o tipo de autenticação.
Os valores permitidos são: Básico, Anônimo		 Sim
nome de utilizador Especifique o usuário que tem acesso ao servidor FTP. Não
password Especifique a senha para o usuário (userName). Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado no Cofre de Chaves do Azure. Não
ConecteVia O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos . Se não for especificado, ele usará o Tempo de Execução de Integração do Azure padrão. Não

Nota

O conector FTP suporta o acesso ao servidor FTP sem criptografia ou criptografia SSL/TLS explícita; ele não suporta criptografia implícita SSL/TLS.

Exemplo 1: usando a autenticação anônima

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "<ftp server>",
            "port": 21,
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 2: usando a autenticação básica

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "<ftp server>",
            "port": 21,
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados.

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para FTP em location configurações no conjunto de dados baseado em formato:

Propriedade Descrição Necessário
tipo A propriedade type em location no dataset deve ser definida como FtpServerLocation. Sim
folderPath O caminho para a pasta. Se você quiser usar curinga para filtrar pastas, ignore essa configuração e especifique nas configurações da fonte de atividade. Não
fileName O nome do arquivo em determinado folderPath. Se você quiser usar curinga para filtrar arquivos, ignore essa configuração e especifique as configurações da fonte de atividade. Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<FTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FtpServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte FTP.

FTP como fonte

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

As seguintes propriedades são suportadas para FTP em storeSettings configurações na fonte de cópia baseada em formato:

Propriedade Descrição Necessário
tipo A propriedade type under storeSettings deve ser definida como FtpReadSettings. Sim
Localize os ficheiros a copiar:
OPÇÃO 1: caminho estático
 Copie do caminho da pasta/arquivo especificado no conjunto de dados. Se você quiser copiar todos os arquivos de uma pasta, especifique wildcardFileName adicionalmente como *.
OPÇÃO 2: curinga
- wildcardFolderPath		 O caminho da pasta com caracteres curinga para filtrar pastas de origem.
Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escapar se o nome da pasta real tiver curinga ou esse caractere de escape dentro.
Veja mais exemplos em Exemplos de filtros de pastas e ficheiros.		 Não
OPÇÃO 2: curinga
- wildcardFileName		 O nome do arquivo com caracteres curinga em determinado folderPath/wildcardFolderPath para filtrar arquivos de origem.
Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escapar se o nome do arquivo real tiver curinga ou esse caracter de escape dentro. Veja mais exemplos em Exemplos de filtros de pastas e ficheiros.		 Sim
OPÇÃO 3: uma lista de ficheiros
- fileListPath		 Indica para copiar um determinado conjunto de arquivos. Aponte para um arquivo de texto que inclua uma lista de arquivos que você deseja copiar, um arquivo por linha, que é o caminho relativo para o caminho configurado no conjunto de dados.
Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Veja mais exemplos em Exemplos de lista de arquivos.		 Não
Configurações adicionais:
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no coletor.
Os valores permitidos são true (padrão) e false.
Esta propriedade não se aplica quando você configura fileListPatho .		 Não
deleteFilesAfterCompletion Indica se os arquivos binários serão excluídos do armazenamento de origem depois de serem movidos com êxito para o repositório de destino. A exclusão do arquivo é por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem.
Esta propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão: false.		 Não
useBinaryTransfer Especifique se deseja usar o modo de transferência binário. Os valores são true para o modo binário (padrão) e false para ASCII. Não
enablePartitionDiscovery Para arquivos particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais.
Os valores permitidos são false (padrão) e true.		 Não
partitionRootPath Quando a descoberta de partições estiver habilitada, especifique o caminho raiz absoluto para ler pastas particionadas como colunas de dados.

Se não for especificado, por padrão,
- Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho da raiz da partição é o caminho configurado no conjunto de dados.
- Quando você usa o filtro de pasta curinga, o caminho da raiz da partição é o subcaminho antes do primeiro curinga.

Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27":
- Se você especificar o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gerará mais duas colunas e com o valor "08" e day "27", respectivamente, além das colunas month dentro dos arquivos.
- Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas. Não
disableChunking Ao copiar dados do FTP, o serviço tenta obter o comprimento do arquivo primeiro, em seguida, dividir o arquivo em várias partes e lê-los em paralelo. Especifique se o seu servidor FTP suporta obter o comprimento do arquivo ou procurar ler a partir de um determinado deslocamento.
Os valores permitidos são false (padrão), true.		 Não

Exemplo:

"activities":[
    {
        "name": "CopyFromFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FtpReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv",
                    "disableChunking": false
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante do caminho da pasta e do nome do arquivo com filtros curinga.

folderPath fileName recursiva Estrutura da pasta de origem e resultado do filtro (arquivos em negrito são recuperados)
Folder* (vazio, use padrão) false PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv
Folder* (vazio, use padrão) verdadeiro PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv
Folder* *.csv false PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv
Folder* *.csv verdadeiro PastaA
    Ficheiro1.csv
    Arquivo2.json
    Subpasta1
        Ficheiro3.csv
        Arquivo4.json
        Ficheiro5.csv
OutraPastaB
    Ficheiro6.csv

Exemplos de lista de ficheiros

Esta seção descreve o comportamento resultante do uso do caminho da lista de arquivos na fonte de atividade de cópia.

Supondo que você tenha a seguinte estrutura de pastas de origem e queira copiar os arquivos em negrito:

Estrutura de origem da amostra Conteúdo em FileListToCopy.txt Configuração
raiz
    PastaA
        Ficheiro1.csv
        Arquivo2.json
        Subpasta1
            Ficheiro3.csv
            Arquivo4.json
            Ficheiro5.csv
    Metadados
        FileListToCopy.txt		 Ficheiro1.csv
Subpasta1/Ficheiro3.csv
Subpasta1/Ficheiro5.csv		 No conjunto de dados:
- Caminho da pasta: root/FolderA

Na fonte da atividade de cópia:
- Caminho da lista de arquivos: root/Metadata/FileListToCopy.txt

O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar, um arquivo por linha com o caminho relativo para o caminho configurado no conjunto de dados.

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, verifique a atividade GetMetadata

Excluir propriedades de atividade

Para saber detalhes sobre as propriedades, marque Excluir atividade

Modelos antigos

Nota

Os modelos a seguir ainda são suportados no estado em que se encontram para compatibilidade com versões anteriores. Sugere-se que você use o novo modelo mencionado nas seções acima daqui para frente, e a interface do usuário de criação mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade Descrição Necessário
tipo A propriedade type do conjunto de dados deve ser definida como: FileShare Sim
folderPath Caminho para a pasta. O filtro curinga é suportado, os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escapar se o nome da pasta real tiver curinga ou esse caractere de escape dentro.

Exemplos: rootfolder/subfolder/, veja mais exemplos em Exemplos de filtros de pastas e ficheiros.		 Sim
fileName Nome ou filtro curinga para o(s) arquivo(s) sob o especificado "folderPath". Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta.

Para filtro, os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único).
- Exemplo 1: "fileName": "*.csv"
- Exemplo 2: "fileName": "???20180427.txt"
Use ^ para escapar se o nome do arquivo real tiver curinga ou esse caracter de escape dentro.		 Não
format Se você quiser copiar arquivos como estão entre armazenamentos baseados em arquivo (cópia binária), ignore a seção de formato nas definições de conjunto de dados de entrada e saída.

Se você quiser analisar arquivos com um formato específico, os seguintes tipos de formato de arquivo são suportados: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Defina a propriedade type em format como um desses valores. Para obter mais informações, consulte as seções Formato de texto, Formato Json, Formato Avro, Formato Orc e Formato parquet.		 Não (apenas para o cenário de cópia binária)
compressão Especifique o tipo e o nível de compactação dos dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação suportados.
Os tipos suportados são: GZip, Deflate, BZip2 e ZipDeflate.
Os níveis suportados são: Optimal e Fastest.		 Não
useBinaryTransfer Especifique se deseja usar o modo de transferência binário. Os valores são true para o modo binário (padrão) e false para ASCII. Não

Gorjeta

Para copiar todos os arquivos em uma pasta, especifique somente folderPath .
Para copiar um único arquivo com um determinado nome, especifique folderPath com parte da pasta e fileName com nome de arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com parte da pasta e fileName com filtro curinga.

Nota

Se você estava usando a propriedade "fileFilter" para o filtro de arquivos, ela ainda é suportada no estado em que se encontra, enquanto você é sugerido para usar o novo recurso de filtro adicionado a "fileName" no futuro.

Exemplo:

{
    "name": "FTPDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<FTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "myfile.csv.gz",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem da atividade de cópia herdada

Propriedade Descrição Necessário
tipo A propriedade type da fonte de atividade de cópia deve ser definida como: FileSystemSource Sim
recursiva Indica se os dados são lidos recursivamente das subpastas ou apenas da pasta especificada. Observe quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, a pasta/subpasta vazia não será copiada/criada no coletor.
Os valores permitidos são: true (padrão), false		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas. Não

Exemplo:

"activities":[
    {
        "name": "CopyFromFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<FTP input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.