Copiar e transformar dados no Amazon Simple Storage Service usando o Azure Data Factory ou o Azure Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como usar a Atividade de Cópia para copiar dados do Amazon Simple Storage Services (Amazon S3) e usar o Fluxo de Dados para transformar dados no Amazon S3. Para saber mais, leia o artigo introdutório do Azure Data Factory e do Synapse Analytics.

Dica

Para o cenário de migração de dados do Amazon S3 para o Armazenamento do Azure, saiba mais em Migrar dados do Amazon S3 para o Armazenamento do Azure.

Funcionalidades com suporte

Este conector do Amazon S3 é compatível com os seguintes recursos:

Funcionalidades com suporte IR
Atividade de cópia (origem/-) 6/6
Fluxo de dados de mapeamento (origem/coletor) 2
Atividade de pesquisa 6/6
Atividade GetMetadata 6/6
Excluir atividade 6/6

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Especificamente, este conector do Amazon S3 dá suporte à cópia de arquivos no estado em que se encontram ou à análise de arquivos com os formatos de arquivo e codecs de compactação com suporte. Você também pode optar por Preservar os metadados do arquivo durante a cópia. O conector usa a Assinatura da AWS versão 4 para autenticar solicitações para S3.

Dica

Se você quiser copiar dados de qualquer provedor de armazenamento compatível com S3,consulte Armazenamento compatível com Amazon S3.

Permissões necessárias

Para copiar dados do Amazon S3, verifique se você recebeu as seguintes permissões para operações de objeto do Amazon S3: s3:GetObject e s3:GetObjectVersion.

Se você usar a interface do usuário do data Factory para criar, s3:ListAllMyBucketss3:ListBucket/s3:GetBucketLocation serão necessárias permissões adicionais para operações como testar a conexão com o serviço vinculado e navegar da raiz. Se você não quiser conceder essas permissões, poderá escolher as opções "Testar a conexão com o caminho do arquivo" ou "Procurar a partir do caminho especificado" na interface do usuário.

Parra detalhes sobre a lista completa e detalhada das permissões do Amazon S3,consulte Especificar permissões em uma política no site da AWS.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

Criar um serviço vinculado do Amazon Simple Storage Service (S3) usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado do Amazon S3 na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse, selecione Serviços Vinculados e clique em Novo:

  2. Procure Amazon e selecione o conector do Amazon S3.

    Screenshot of the Amazon S3 connector.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Screenshot of configuration for an Amazon S3 linked service.

Detalhes da configuração do conector

As seções seguintes fornecem detalhes sobre as propriedades que são usadas para definir entidades do Data Factory específicas ao Amazon S3.

Propriedades do serviço vinculado

As propriedades a seguir têm suporte para um serviço vinculado do Amazon S3:

Propriedade Descrição Obrigatório
type A propriedade tipo deve ser definida como AmazonS3. Sim
authenticationType Especifique o tipo de autenticação usado para se conectar ao Amazon S3. Você pode optar por usar chaves de acesso para uma conta de IAM (Gerenciamento de Identidades e Acesso) do AWS ou credenciais de segurança temporárias.
Os valores permitidos são AccessKey (padrão) e TemporarySecurityCredentials.		 Não
accessKeyId ID da chave de acesso secreta. Sim
secretAccessKey A chave de acesso do secreta em si. Marque esse campo como SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault. Sim
sessionToken Aplicável ao usar autenticação temporária de credenciais de segurança. Saiba como solicitar credenciais de segurança temporárias do AWS.
Observação que a credencial temporária AWS expira entre 15 minutos e 36 horas com base nas configurações. Verifique se sua credencial é válida quando a atividade é executada, especialmente para carga de trabalho operacional. Por exemplo, você pode atualizá-la periodicamente e armazená-la no Azure Key Vault.
Marque esse campo como SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault.		 No
serviceUrl Especifique o ponto de extremidade S3 personalizado como https://<service url>.
Altere-o somente se você quiser experimentar um ponto de extremidade de serviço diferente ou quiser alternar entre https e http.		 Não
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. No

Exemplo: usando a autenticação de chave de acesso

{
    "name": "AmazonS3LinkedService",
    "properties": {
        "type": "AmazonS3",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: usando autenticação de credencial de segurança temporária

{
    "name": "AmazonS3LinkedService",
    "properties": {
        "type": "AmazonS3",
        "typeProperties": {
            "authenticationType": "TemporarySecurityCredentials",
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            },
            "sessionToken": {
                "type": "SecureString",
                "value": "<session token>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As seguintes propriedades são compatíveis com o Amazon S3 em location configurações em um conjunto de dados baseado no formato:

Propriedade Descrição Obrigatório
type A propriedade de tipo sob location em um conjunto de dados deve ser configurada com AmazonS3Location. Sim
bucketName O nome do bucket S3. Sim
folderPath O caminho para a pasta sob o bucket fornecido. Se quiser usar um caractere curinga para filtrar a pasta, ignore essa configuração e especifique isso nas configurações de origem da atividade. Não
fileName O nome do arquivo sob o bucket e caminho da pasta fornecidos. Se você quiser usar um caractere curinga para filtrar os arquivos, ignore essa configuração e especifique isso nas configurações de origem da atividade. Não
version A versão do objeto S3 se o controle de versão do S3 está habilitado. Se não for especificada, a versão mais recente será buscada. Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3Location",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista de propriedades compatíveis com a fonte Amazon S3.

Amazon S3 como um tipo de fonte

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As seguintes propriedades são compatíveis com o Amazon S3 sob storeSettings configurações na fonte de cópia baseada em formato:

Propriedade Descrição Obrigatório
type A propriedade tipo sob storeSettings deve ser configurada para AmazonS3ReadSettings. Sim
Localize os arquivos a serem copiados:
OPÇÃO 1: caminho estático
 Copiar do caminho do bucket ou de pasta/arquivo especificado no conjunto de dados. Se quiser copiar todos os arquivos de um bucket ou pasta, especifique também wildcardFileName como *.
OPÇÃO DOIS: Prefixo S3
- prefixo		 Prefixo para o nome da chave S3 sob o bucket especificado configurado no conjunto de dados para filtrar os arquivos S3 de origem. As chaves S3 cujos nomes começam com bucket_in_dataset/this_prefix são selecionadas. Utiliza o filtro do lado do serviço do S3, que fornece melhor desempenho do que o filtro curinga.

Quando você usa o prefixo e opta por copiar para o coletor baseado em arquivo com a hierarquia de preservação, observe que o subcaminho após o último "/" no prefixo será preservado. Por exemplo, você tem a origem bucket/folder/subfolder/file.txt e configura o prefixo como folder/sub, então o caminho do arquivo preservado é subfolder/file.txt.		 Não
OPÇÃO 3: curinga
- wildcardFolderPath		 O caminho da pasta com caracteres curinga sob o bucket fornecido configurado no conjunto de dados para filtrar as pastas de origem.
Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape.
Veja mais exemplos em Exemplos de filtro de pastas e arquivos.		 Não
OPÇÃO 3: curinga
- wildcardFileName		 O nome do arquivo com caracteres curinga sob o bucket e caminho da pasta fornecidos (ou o caminho da pasta curinga) para filtrar os arquivos de origem.
Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome do arquivo contiver um curinga ou esse caractere de escape. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.		 Sim
OPÇÃO 4: uma lista de arquivos
- fileListPath		 Indica a cópia de um determinado conjunto de arquivos. Aponte para um arquivo de texto que inclui a lista de arquivos que você deseja copiar com um arquivo por linha, que é o caminho relativo para o caminho configurado no conjunto de dados.
Ao usar essa opção, não especifique um nome de arquivo no conjunto de dados. Veja mais exemplos em Exemplos de lista de arquivos.		 Não
Configurações adicionais:
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando recursiva é definida como true e o coletor é um repositório baseado em arquivo, uma pasta vazia ou uma subpasta não é copiada nem criada no coletor.
Os valores permitidos são true (padrão) e false.
Essa propriedade não se aplica quando você configura fileListPath.		 Não
deleteFilesAfterCompletion Indica se os arquivos binários serão excluídos do repositório de origem após a movimentação com êxito para o repositório de destino. A exclusão do arquivo é feita por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no repositório de origem.
Essa propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão é false.		 Não
modifiedDatetimeStart Os arquivos são filtrados com base no atributo última modificação.
Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z".
As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.
Essa propriedade não se aplica quando você configura fileListPath.		 Não
modifiedDatetimeEnd Mesmo que acima. Não
enablePartitionDiscovery Para arquivos que são particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais.
Os valores permitidos são false (padrão) e true.		 No
partitionRootPath Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados.

Se ele não for especificado, por padrão ocorrerá o seguinte:
– Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho raiz da partição é o caminho configurado no conjunto de dados.
– Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga.
-Quando você usa o prefixo, o caminho raiz da partição é o subcaminho antes do último "/".

Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27":
– Se você especifica o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gera mais duas colunas month e day com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos.
– Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. Não

Exemplo:

"activities":[
    {
        "name": "CopyFromAmazonS3",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3ReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento resultante do caminho da pasta e do nome de arquivo com filtros curinga.

bucket chave recursiva Estrutura da pasta de origem e resultado do filtro (os arquivos em negrito são recuperados)
bucket Folder*/* false bucket
    FolderA
        Arquivo1.csv
        File2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv
bucket Folder*/* true bucket
    FolderA
        Arquivo1.csv
        File2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv
bucket Folder*/*.csv false bucket
    FolderA
        Arquivo1.csv
        Arquivo2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv
bucket Folder*/*.csv true bucket
    FolderA
        Arquivo1.csv
        Arquivo2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv

Exemplos de lista de arquivos

Esta seção descreve o comportamento resultante do uso do caminho da lista de arquivos na origem da atividade Copy.

Suponha que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos em negrito:

Exemplo de estrutura de origem Conteúdo em FileListToCopy.txt Configuração
bucket
    FolderA
        Arquivo1.csv
        Arquivo2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    Metadados
        FileListToCopy.txt		 File1.csv
Subfolder1/File3.csv
Subfolder1/File5.csv		 No conjunto de dados:
– Bucket: bucket
- Caminho da pasta: FolderA

Na origem da atividade Copy:
- Caminho da lista de arquivos: bucket/Metadata/FileListToCopy.txt

O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui a lista de arquivos que você deseja copiar, um arquivo por linha, com o caminho relativo do caminho configurado no conjunto de dados.

Preservar metadados durante a cópia

Ao copiar arquivos do Amazon S3 para o Azure Data Lake Storage Gen2 ou armazenamento Blob do Azure, você pode optar por preservar os metadados do arquivo junto com os dados. Saiba mais em Preservar metadados.

Mapeamento de propriedades de fluxo de dados

Quando estiver transformando dados nos fluxos de dados de mapeamento, você poderá ler arquivos do Amazon S3 nos seguintes formatos:

As configurações de formato específico estão localizadas na documentação para esse formato. Para saber mais, confira Transformação de origem no fluxo de dados de mapeamento.

Transformação de origem

Na transformação de origem, você pode ler de um contêiner, uma pasta ou um arquivo individual no Amazon S3. Use a guia Opções de origem para gerenciar como os arquivos são lidos.

Screenshot of Source options.

Caminhos curinga: o uso de um padrão curinga instruirá o serviço a executar um loop em cada pasta e arquivo correspondentes em uma única transformação de origem. Esse é um modo eficaz de processar vários arquivos dentro de um único fluxo. Adicione vários padrões de correspondência de curinga com o sinal de adição que aparece ao passar o mouse sobre o padrão de curinga existente.

Em seu contêiner de origem, escolha uma série de arquivos que correspondem a um padrão. Somente o contêiner pode ser especificado no conjunto de dados. O caminho curinga, portanto, também precisa incluir o caminho da pasta raiz.

Exemplos de caracteres curinga:

  • * Representa qualquer conjunto de caracteres.

  • ** Representa o aninhamento de diretório recursivo.

  • ? Substitui um caractere.

  • [] Corresponde a um ou mais caracteres entre colchetes.

  • /data/sales/**/*.csv Obtém todos os arquivos CSV em /data/sales.

  • /data/sales/20??/**/ Obtém todos os arquivos no século XX.

  • /data/sales/*/*/*.csv Obtém arquivos CSV dois níveis em /data/sales.

  • /data/sales/2004/*/12/[XY]1?.csv Obtém todos os arquivos CSV de dezembro de 2004 que começam com X ou Y prefixado por um número de dois dígitos.

Caminho raiz da partição: se você tiver pastas particionadas em sua fonte de arquivo com um formato key=value (por exemplo, year=2019), poderá atribuir o nível superior da árvore de pastas dessa partição a um nome de coluna no fluxo de dados.

Primeiro, defina um curinga para incluir todos os caminhos que são as pastas particionadas mais os arquivos folha que você deseja ler.

Screenshot of partition source file settings.

Use a configuração do caminho raiz da partição para definir qual é o nível superior da estrutura de pastas. Ao exibir o conteúdo de seus dados por meio de uma pré-visualização de dados, você verá que o serviço adicionará as partições resolvidas encontradas em cada um dos níveis de pasta.

Screenshot of partition root path.

Lista de arquivos: é um conjunto de arquivos. Crie um arquivo de texto que inclui uma lista de arquivos do caminho relativo a serem processados. Aponte para este arquivo de texto.

Coluna para armazenar o nome do arquivo: armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna para armazenar a cadeia de caracteres de nome de arquivo.

Após a conclusão: Opte por não fazer nada com o arquivo de origem após a execução de fluxo de dados, excluir o arquivo de origem ou mover o arquivo de origem. Os caminhos para movimentação são relativos.

Para mover os arquivos de origem para outro local após o processamento, primeiro selecione "Mover" para a operação de arquivo. Em seguida, defina o diretório "de". Se você não estiver usando curingas para o caminho, a configuração "de" será a mesma pasta que a de origem.

Se você tiver um caminho de origem com curinga, sua sintaxe terá a seguinte aparência:

/data/sales/20??/**/*.csv

Você pode especificar "de" como:

/data/sales

E você pode especificar "para" como:

/backup/priorSales

Nesse caso, todos os arquivos que foram originados em /data/sales são movidos para /backup/priorSales.

Observação

As operações do arquivo são executadas somente quando você inicia o fluxo de dados de uma execução de pipeline (depuração de pipeline ou realização da execução) que usa a atividade Executar Fluxo de Dados em um pipeline. As operações de arquivo não são executadas no modo de depuração do Fluxo de Dados.

Filtrar por última modificação: você pode filtrar quais arquivos são processados especificando um intervalo de datas de quando eles foram modificados pela última vez. Todos os datetimes estão em UTC.

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, confira Atividade GetMetadata.

Excluir propriedades da atividade

Para saber mais detalhes sobre as propriedades, confira Atividade Delete.

Modelos herdados

Observação

Os modelos a seguir ainda têm suporte no estado em que se encontram, para compatibilidade com versões anteriores. Sugerimos que você use o novo modelo mencionado anteriormente. A criação da interface do usuário do Data Factory mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade Descrição Obrigatório
type A propriedade tipo do conjunto de dados deve ser definida como AmazonS3Object. Sim
bucketName O nome do bucket S3. O filtro curinga não é suportado. Sim, para a atividade Copy ou Pesquisa; não, para a atividade GetMetadata
chave O filtro de nome ou curinga da chave do objeto S3 sob o bucket especificado. Aplica-se apenas quando a propriedadeprefixo não é especificada.

Há suporte ao filtro curinga para a parte da pasta e para a parte do nome do arquivo. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único).
– Exemplo 1: "key": "rootfolder/subfolder/*.csv"
– Exemplo 2: "key": "rootfolder/subfolder/???20180427.txt"
Consulte mais exemplos em Exemplos de filtro de pastas e arquivos. Use ^ como escape se o nome real da pasta ou do arquivo contiver um curinga ou esse caractere de escape.		 Não
prefixo Prefixo da chave do objeto S3. Objetos cujas chaves começam com esse prefixo serão selecionados. Aplica-se apenas quando a propriedade chave não é especificada. Não
version A versão do objeto S3 se o controle de versão do S3 está habilitado. Se uma versão não for especificada, a versão mais recente será buscada. Não
modifiedDatetimeStart Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z".

Lembre-se de que o desempenho geral da movimentação de dados será afetado com a habilitação dessa configuração quando você desejar filtrar grandes quantidades de arquivos.

As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.		 Não
modifiedDatetimeEnd Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z".

Lembre-se de que o desempenho geral da movimentação de dados será afetado com a habilitação dessa configuração quando você desejar filtrar grandes quantidades de arquivos.

As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.		 Não
format Se você quiser copiar arquivos no estado em que se encontram entre repositórios baseados em arquivo (cópia binária), ignore a seção de formato nas definições de conjunto de dados de entrada e de saída.

Se você quer analisar ou gerar arquivos com um formato específico, os seguintes tipos de formato de arquivo são compatíveis: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Defina a propriedade type sob format para um desses valores. Para saber mais, veja as seções Formato de texto, Formato JSON, Formato Avro, Formato Orc e Formato Parquet.		 Não (somente para o cenário de cópia binária)
compactação Especifique o tipo e o nível de compactação para os dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação com suporte.
Os tipos com suporte são: GZip, Deflate, BZip2 e ZipDeflate.
Os níveis de suporte são Ideal e Mais rápido.		 Não

Dica

Para copiar todos os arquivos em uma pasta, especifique bucketName para o bucket e prefixo para a parte da pasta.

Para copiar um único arquivo com um determinado nome, especifique bucketName para o bucket e chave para o nome da parte da pasta mais o nome do arquivo.

Para copiar um subconjunto de arquivos em uma pasta, especifique bucketName para o bucket e chave para a parte da pasta mais o filtro do curinga.

Exemplo: usando o prefixo

{
    "name": "AmazonS3Dataset",
    "properties": {
        "type": "AmazonS3Object",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "bucketName": "testbucket",
            "prefix": "testFolder/test",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Exemplo: usando a chave e a versão (opcional)

{
    "name": "AmazonS3Dataset",
    "properties": {
        "type": "AmazonS3",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "bucketName": "testbucket",
            "key": "testFolder/testfile.csv.gz",
            "version": "XXXXXXXXXczm0CJajYkHf0_k6LhBmkcL",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem herdado para a atividade Copy

Propriedade Descrição Obrigatório
type A propriedade tipo da atividade Copy deve ser definida como FileSystemSource. Sim
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando recursiva é definida como true e o coletor é um armazenamento baseado em arquivo, uma pasta vazia ou subpasta não será copiada ou criada no coletor.
Os valores permitidos são true (padrão) e false.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. Não

Exemplo:

"activities":[
    {
        "name": "CopyFromAmazonS3",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon S3 input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados que a atividade Copy suporta, como fontes e coletores, consulte Armazenamentos de dados compatíveis.