Copiar dados no/do Azure Data Lake Storage Gen1 usando o Azure Data FactoryCopy data to or from Azure Data Lake Storage Gen1 using Azure Data Factory

• 08/31/2020
• 25 minutos para o fim da leitura
• • l
  • o
  • c
  • O

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como copiar dados de e para o Azure Data Lake Storage Gen1.This article outlines how to copy data to and from Azure Data Lake Storage Gen1. Para saber mais sobre o Azure Data Factory, leia as artigo introdutório.To learn about Azure Data Factory, read the introductory article.

Funcionalidades com suporteSupported capabilities

Este conector do Azure Data Lake Storage Gen1 é compatível com as seguintes atividades:This Azure Data Lake Storage Gen1 connector is supported for the following activities:

• Atividade de cópia com matriz de fonte/coletor compatívelCopy activity with supported source/sink matrix
• Fluxo de dados de mapeamentoMapping data flow
• Atividade de pesquisaLookup activity
• Atividade GetMetadataGetMetadata activity
• Excluir atividadeDelete activity

Especificamente, com esse conector, você pode:Specifically, with this connector you can:

• Copiar arquivos usando um dos seguintes métodos de autenticação: entidade de serviço ou identidades gerenciadas para recursos do Azure.Copy files by using one of the following methods of authentication: service principal or managed identities for Azure resources.
• Copiar arquivos no estado em que se encontram ou analisar ou gerar arquivos com formatos de arquivo e codecs de compactação com suporte.Copy files as is or parse or generate files with the supported file formats and compression codecs.
• Preserve as ACLs ao copiar no Azure Data Lake Storage Gen2.Preserve ACLs when copying into Azure Data Lake Storage Gen2.

IntroduçãoGet started

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:To perform the Copy activity with a pipeline, you can use one of the following tools or SDKs:

• A ferramenta Copiar DadosThe Copy Data tool
• O portal do AzureThe Azure portal
• O SDK do .NETThe .NET SDK
• O SDK do PythonThe Python SDK
• PowerShell do AzureAzure PowerShell
• A API RESTThe REST API
• O modelo do Azure Resource ManagerThe Azure Resource Manager template

As seções a seguir fornecem informações sobre propriedades que são usadas para definir entidades do Data Factory específicas do Azure Data Lake Storage.The following sections provide information about properties that are used to define Data Factory entities specific to Azure Data Lake Store.

Propriedades do serviço vinculadoLinked service properties

As propriedades a seguir têm suporte no serviço vinculado do Azure Data Lake Store:The following properties are supported for the Azure Data Lake Store linked service:

Usar a autenticação de entidade de serviçoUse service principal authentication

Para usar a autenticação de entidade de serviço, siga estas etapas.To use service principal authentication, follow these steps.

1. Registre uma entidade de aplicativo no Azure Active Directory e conceda a ela o acesso ao Data Lake Storage.Register an application entity in Azure Active Directory and grant it access to Data Lake Store. Para encontrar as etapas detalhadas, consulte Autenticação de serviço a serviço.For detailed steps, see Service-to-service authentication. Anote os seguintes valores, que são usados para definir o serviço vinculado:Make note of the following values, which you use to define the linked service:

   • ID do aplicativoApplication ID
   • Chave do aplicativoApplication key
   • ID do locatárioTenant ID

2. Conceda a permissão adequada da entidade de serviço.Grant the service principal proper permission. Veja exemplos de como a permissão funciona no Data Lake Storage Gen1 em Controle de acesso no Azure Data Lake Storage Gen1.See examples on how permission works in Data Lake Storage Gen1 from Access control in Azure Data Lake Storage Gen1.

   • Como origem: em Data Explorer > Acesso, conceda pelo menos a permissão Execução para TODAS as pastas acima, incluindo a raiz, junto com a permissão Leitura para os arquivos que serão copiados.As source: In Data explorer > Access, grant at least Execute permission for ALL upstream folders including the root, along with Read permission for the files to copy. Você pode optar por adicionar a Esta pasta e todos os filhos para recursivo e adicionar como uma permissão de acesso e uma entrada de permissão padrão.You can choose to add to This folder and all children for recursive, and add as an access permission and a default permission entry. Não há requisito de controle de acesso no nível da conta (IAM).There's no requirement on account-level access control (IAM).
   • Como coletor: em Data Explorer > Acesso, conceda pelo menos a permissão Execução para TODAS as pastas acima, incluindo a raiz, junto com a permissão Gravação para a pasta coletora.As sink: In Data explorer > Access, grant at least Execute permission for ALL upstream folders including the root, along with Write permission for the sink folder. Você pode optar por adicionar a Esta pasta e todos os filhos para recursivo e adicionar como uma permissão de acesso e uma entrada de permissão padrão.You can choose to add to This folder and all children for recursive, and add as an access permission and a default permission entry.

Há suporte para as seguintes propriedades:The following properties are supported:

Exemplo:Example:

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "subscriptionId": "<subscription of ADLS>",
            "resourceGroupName": "<resource group of ADLS>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Usar identidades gerenciadas para autenticação de recursos do AzureUse managed identities for Azure resources authentication

Um data factory pode ser associado a uma identidade gerenciada para recursos do Azure, que representa esse data factory específico.A data factory can be associated with a managed identity for Azure resources, which represents this specific data factory. Você pode usar essa identidade gerenciada diretamente para a autenticação do Data Lake Storage da mesma maneira que no uso de sua própria entidade de serviço.You can directly use this managed identity for Data Lake Store authentication, similar to using your own service principal. Ele permite que este alocador designado acesse e copie dados de ou para o seu Data Lake Store.It allows this designated factory to access and copy data to or from Data Lake Store.

Para usar identidades gerenciadas para autenticação de recursos do Azure, siga estas etapas.To use managed identities for Azure resources authentication, follow these steps.

1. Recuperar a identidade gerenciada do data factory copiando o valor de "ID do Aplicativo de Identidade do Serviço" gerado junto com seu alocador.Retrieve the data factory managed identity information by copying the value of the "Service Identity Application ID" generated along with your factory.

2. Conceda à identidade gerenciada acesso ao Data Lake Storage.Grant the managed identity access to Data Lake Store. Veja exemplos de como a permissão funciona no Data Lake Storage Gen1 em Controle de acesso no Azure Data Lake Storage Gen1.See examples on how permission works in Data Lake Storage Gen1 from Access control in Azure Data Lake Storage Gen1.

   • Como origem: em Data Explorer > Acesso, conceda pelo menos a permissão Execução para TODAS as pastas acima, incluindo a raiz, junto com a permissão Leitura para os arquivos que serão copiados.As source: In Data explorer > Access, grant at least Execute permission for ALL upstream folders including the root, along with Read permission for the files to copy. Você pode optar por adicionar a Esta pasta e todos os filhos para recursivo e adicionar como uma permissão de acesso e uma entrada de permissão padrão.You can choose to add to This folder and all children for recursive, and add as an access permission and a default permission entry. Não há requisito de controle de acesso no nível da conta (IAM).There's no requirement on account-level access control (IAM).
   • Como coletor: em Data Explorer > Acesso, conceda pelo menos a permissão Execução para TODAS as pastas acima, incluindo a raiz, junto com a permissão Gravação para a pasta coletora.As sink: In Data explorer > Access, grant at least Execute permission for ALL upstream folders including the root, along with Write permission for the sink folder. Você pode optar por adicionar a Esta pasta e todos os filhos para recursivo e adicionar como uma permissão de acesso e uma entrada de permissão padrão.You can choose to add to This folder and all children for recursive, and add as an access permission and a default permission entry.

No Azure Data Factory, você não precisa especificar nenhuma propriedade além das informações do Data Lake Store gerais no serviço vinculado.In Azure Data Factory, you don't need to specify any properties besides the general Data Lake Store information in the linked service.

Exemplo:Example:

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "subscriptionId": "<subscription of ADLS>",
            "resourceGroupName": "<resource group of ADLS>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dadosDataset properties

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.For a full list of sections and properties available for defining datasets, see the Datasets article.

O Azure Data Factory é compatível com os formatos de arquivo a seguir.Azure Data Factory supports the following file formats. Confira cada artigo para obter configurações baseadas em formato.Refer to each article for format-based settings.

• Formato AvroAvro format
• Formato binárioBinary format
• Formato de texto delimitadoDelimited text format
• Formato do ExcelExcel format
• Formato JSONJSON format
• Formato ORCORC format
• Formato ParquetParquet format
• Formato XMLXML format

As seguintes propriedades são compatíveis com o Azure Data Lake Storage Gen1 em configurações de location no conjunto de dados baseado em formato:The following properties are supported for Azure Data Lake Store Gen1 under location settings in the format-based dataset:

Exemplo:Example:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<ADLS Gen1 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureDataLakeStoreLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópiaCopy activity properties

Para obter uma lista completa das seções e propriedades disponíveis para definir as atividades, veja Pipelines.For a full list of sections and properties available for defining activities, see Pipelines. Esta seção fornece uma lista das propriedades com suporte pela origem e pelo coletor do Azure Data Lake Store.This section provides a list of properties supported by Azure Data Lake Store source and sink.

Azure Data Lake Store como fonteAzure Data Lake Store as source

O Azure Data Factory é compatível com os formatos de arquivo a seguir.Azure Data Factory supports the following file formats. Confira cada artigo para obter configurações baseadas em formato.Refer to each article for format-based settings.

• Formato AvroAvro format
• Formato binárioBinary format
• Formato de texto delimitadoDelimited text format
• Formato do ExcelExcel format
• Formato JSONJSON format
• Formato ORCORC format
• Formato ParquetParquet format
• Formato XMLXML format

As seguintes propriedades são compatíveis com o Azure Data Lake Storage Gen1 em configurações de storeSettings na fonte de dados baseada em formato:The following properties are supported for Azure Data Lake Store Gen1 under storeSettings settings in the format-based copy source:

Exemplo:Example:

"activities":[
    {
        "name": "CopyFromADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureDataLakeStoreReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Data Lake Store como coletorAzure Data Lake Store as sink

O Azure Data Factory é compatível com os formatos de arquivo a seguir.Azure Data Factory supports the following file formats. Confira cada artigo para obter configurações baseadas em formato.Refer to each article for format-based settings.

• Formato AvroAvro format
• Formato binárioBinary format
• Formato de texto delimitadoDelimited text format
• Formato JSONJSON format
• Formato ORCORC format
• Formato ParquetParquet format

As seguintes propriedades são compatíveis com o Azure Data Lake Storage Gen1 em configurações de storeSettings no coletor de dados baseado em formato:The following properties are supported for Azure Data Lake Store Gen1 under storeSettings settings in the format-based copy sink:

Exemplo:Example:

"activities":[
    {
        "name": "CopyToADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureDataLakeStoreWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Exemplos de filtro de intervalo de nomesName range filter examples

Esta seção descreve o comportamento resultante de filtros de intervalo de nome.This section describes the resulting behavior of name range filters.

Exemplos de filtro de pasta e arquivoFolder and file filter examples

Esta seção descreve o comportamento resultante do caminho da pasta e do nome de arquivo com filtros curinga.This section describes the resulting behavior of the folder path and file name with wildcard filters.

Exemplos de lista de arquivosFile list examples

Esta seção descreve o comportamento resultante do uso do caminho da lista de arquivos na origem da atividade de cópia.This section describes the resulting behavior of using file list path in copy activity source.

Supondo que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos em negrito:Assuming you have the following source folder structure and want to copy the files in bold:

Exemplos de comportamento da operação de cópiaExamples of behavior of the copy operation

Esta seção descreve o comportamento resultante da operação de Cópia para diferentes combinações de valores recursive e copyBehavior.This section describes the resulting behavior of the copy operation for different combinations of recursive and copyBehavior values.

Preservar ACLs do Data Lake Storage Gen2Preserve ACLs to Data Lake Storage Gen2

Se você quiser replicar as ACLs (listas de controle de acesso) junto com os arquivos de dados ao atualizar do Data Lake Storage Gen1 para o Data Lake Storage Gen2, consulte Preservar ACLs do Data Lake Storage Gen1.If you want to replicate the access control lists (ACLs) along with data files when you upgrade from Data Lake Storage Gen1 to Data Lake Storage Gen2, see Preserve ACLs from Data Lake Storage Gen1.

Propriedades do fluxo de dados de mapeamentoMapping data flow properties

Quando estiver transformando dados no mapeamento de fluxos de dados, você pode ler e gravar arquivos de Azure Data Lake Storage Gen1 nos seguintes formatos:When you're transforming data in mapping data flows, you can read and write files from Azure Data Lake Storage Gen1 in the following formats:

• AvroAvro
• Texto delimitadoDelimited text
• ExcelExcel
• JSONJSON
• ParquetParquet

As configurações específicas de formato estão localizadas na documentação para esse formato.Format-specific settings are located in the documentation for that format. Para obter mais informações, consulte transformação de origem no mapeamento de fluxo de dados e transformação de coletor no fluxo de dados de mapeamento.For more information, see Source transformation in mapping data flow and Sink transformation in mapping data flow.

Transformação de origemSource transformation

Na transformação origem, você pode ler um contêiner, uma pasta ou um arquivo individual em Azure Data Lake Storage Gen1.In the source transformation, you can read from a container, folder, or individual file in Azure Data Lake Storage Gen1. A guia Opções de origem permite que você gerencie como os arquivos são lidos.The Source options tab lets you manage how the files get read.

Caminho curinga: O uso de um padrão curinga instruirá o ADF a executar um loop em cada pasta e arquivo correspondentes em uma única transformação de origem.Wildcard path: Using a wildcard pattern will instruct ADF to loop through each matching folder and file in a single Source transformation. Esse é um modo eficaz de processar vários arquivos dentro de um único fluxo.This is an effective way to process multiple files within a single flow. Adicione vários padrões de correspondência de curingas com o sinal de + que aparece ao passar o mouse sobre o padrão de curinga existente.Add multiple wildcard matching patterns with the + sign that appears when hovering over your existing wildcard pattern.

Em seu contêiner de origem, escolha uma série de arquivos que correspondem a um padrão.From your source container, choose a series of files that match a pattern. Somente o contêiner pode ser especificado no conjunto de dados.Only container can be specified in the dataset. O caminho curinga, portanto, também precisa incluir o caminho da pasta raiz.Your wildcard path must therefore also include your folder path from the root folder.

Exemplos de caracteres curinga:Wildcard examples:

• * Representa qualquer conjunto de caracteres* Represents any set of characters

• ** Representa o aninhamento de diretório recursivo** Represents recursive directory nesting

• ? Substitui um caractere? Replaces one character

• [] Corresponde a um ou mais caracteres entre colchetes[] Matches one of more characters in the brackets

• /data/sales/**/*.csv Obtém todos os arquivos CSV em /data/sales/data/sales/**/*.csv Gets all csv files under /data/sales

• /data/sales/20??/**/ Obtém todos os arquivos no século 20/data/sales/20??/**/ Gets all files in the 20th century

• /data/sales/*/*/*.csv Obtém arquivos CSV dois níveis em /data/sales/data/sales/*/*/*.csv Gets csv files two levels under /data/sales

• /data/sales/2004/*/12/[XY]1?.csv Obtém todos os arquivos CSV de dezembro de 2004 que começam com X ou Y prefixado por um número de dois dígitos/data/sales/2004/*/12/[XY]1?.csv Gets all csv files in 2004 in December starting with X or Y prefixed by a two-digit number

Caminho raiz da partição: se você tiver pastas particionadas em sua fonte de arquivo com um formato key=value (por exemplo, year=2019), poderá atribuir o nível superior da árvore de pastas dessa partição a um nome de coluna no fluxo de dados.Partition Root Path: If you have partitioned folders in your file source with a key=value format (for example, year=2019), then you can assign the top level of that partition folder tree to a column name in your data flow data stream.

Primeiro, defina um curinga para incluir todos os caminhos que são as pastas particionadas mais os arquivos folha que você deseja ler.First, set a wildcard to include all paths that are the partitioned folders plus the leaf files that you wish to read.

Use a configuração do caminho raiz da partição para definir qual é o nível superior da estrutura de pastas.Use the Partition Root Path setting to define what the top level of the folder structure is. Ao exibir o conteúdo de seus dados por meio de uma visualização de dados, você verá que o ADF adicionará as partições resolvidas encontradas em cada um dos níveis de pasta.When you view the contents of your data via a data preview, you'll see that ADF will add the resolved partitions found in each of your folder levels.

Lista de arquivos: é um conjunto de arquivos.List of files: This is a file set. Crie um arquivo de texto que inclui uma lista de arquivos do caminho relativo a serem processados.Create a text file that includes a list of relative path files to process. Aponte para este arquivo de texto.Point to this text file.

Coluna para armazenar o nome do arquivo: armazene o nome do arquivo de origem em uma coluna em seus dados.Column to store file name: Store the name of the source file in a column in your data. Insira um novo nome de coluna para armazenar a cadeia de caracteres de nome de arquivo.Enter a new column name here to store the file name string.

Após a conclusão: Opte por não fazer nada com o arquivo de origem após a execução de fluxo de dados, excluir o arquivo de origem ou mover o arquivo de origem.After completion: Choose to do nothing with the source file after the data flow runs, delete the source file, or move the source file. Os caminhos para movimentação são relativos.The paths for the move are relative.

Para mover os arquivos de origem para outro local após o processamento, primeiro selecione "Mover" para a operação de arquivo.To move source files to another location post-processing, first select "Move" for file operation. Em seguida, defina o diretório "de".Then, set the "from" directory. Se você não estiver usando curingas para o caminho, a configuração "de" será a mesma pasta que a de origem.If you're not using any wildcards for your path, then the "from" setting will be the same folder as your source folder.

Se você tiver um caminho de origem com curinga, sua sintaxe terá a seguinte aparência:If you have a source path with wildcard, your syntax will look like this below:

/data/sales/20??/**/*.csv

Você pode especificar "de" comoYou can specify "from" as

/data/sales

E "para" comoAnd "to" as

/backup/priorSales

Nesse caso, todos os arquivos que foram originados em /data/sales são movidos para /backup/priorSales.In this case, all files that were sourced under /data/sales are moved to /backup/priorSales.

Filtrar por última modificação: você pode filtrar quais arquivos são processados especificando um intervalo de datas de quando eles foram modificados pela última vez.Filter by last modified: You can filter which files you process by specifying a date range of when they were last modified. Todos os datetimes estão em UTC.All date-times are in UTC.

Propriedades do coletorSink properties

Na transformação do coletor, você pode gravar em um contêiner ou pasta no Azure Data Lake Storage Gen1.In the sink transformation, you can write to either a container or folder in Azure Data Lake Storage Gen1. A guia Configurações permite que você gerencie como os arquivos são gravados.the Settings tab lets you manage how the files get written.

Limpe a pasta: determina se a pasta de destino é limpa ou não antes de os dados serem gravados.Clear the folder: Determines whether or not the destination folder gets cleared before the data is written.

Opção do nome do arquivo: determina como os arquivos de destino são nomeados na pasta de destino.File name option: Determines how the destination files are named in the destination folder. As opções de nome de arquivo são:The file name options are:

• Padrão: permitir que o Spark nomeie arquivos com base nos padrões de PART.Default: Allow Spark to name files based on PART defaults.
• Padrão: insira um padrão que enumere os arquivos de saída por partição.Pattern: Enter a pattern that enumerates your output files per partition. Por exemplo, loans[n].csv criará loans1.csv, loans2.csv e assim por diante.For example, loans[n].csv will create loans1.csv, loans2.csv, and so on.
• Por partição: insira um nome de arquivo por partição.Per partition: Enter one file name per partition.
• Como dados na coluna: defina o arquivo de saída para o valor de uma coluna.As data in column: Set the output file to the value of a column. O caminho é relativo ao contêiner de conjunto de dados, não à pasta de destino.The path is relative to the dataset container, not the destination folder. Se você tiver um caminho de pasta em seu conjunto de dados, ele será substituído.If you have a folder path in your dataset, it will be overridden.
• Saída para um único arquivo: combine os arquivos de saída particionados em um único arquivo nomeado.Output to a single file: Combine the partitioned output files into a single named file. O caminho é relativo à pasta do conjunto de dados.The path is relative to the dataset folder. Lembre-se de que a operação de mesclagem pode falhar com base no tamanho do nó.Please be aware that te merge operation can possibly fail based upon node size. Essa opção não é recomendada para conjuntos de dados grandes.This option is not recommended for large datasets.

Citar tudo: determina se todos os valores devem ser delimitados por aspasQuote all: Determines whether to enclose all values in quotes

Pesquisar propriedades de atividadesLookup activity properties

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.To learn details about the properties, check Lookup activity.

Propriedades de atividade GetMetadataGetMetadata activity properties

Para saber detalhes sobre as propriedades, verifique Atividade GetMetadataTo learn details about the properties, check GetMetadata activity

Excluir propriedades da atividadeDelete activity properties

Para saber mais detalhes sobre as propriedades, marque Excluir atividadeTo learn details about the properties, check Delete activity

Modelos herdadosLegacy models

Modelo de conjunto de dados herdadoLegacy dataset model

Exemplo:Example:

{
    "name": "ADLSDataset",
    "properties": {
        "type": "AzureDataLakeStoreFile",
        "linkedServiceName":{
            "referenceName": "<ADLS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "datalake/myfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem de atividade de cópia herdadoLegacy copy activity source model

Exemplo:Example:

"activities":[
    {
        "name": "CopyFromADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ADLS Gen1 input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDataLakeStoreSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Modelo do coletor de atividade de cópia herdadoLegacy copy activity sink model

Exemplo:Example:

"activities":[
    {
        "name": "CopyToADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ADLS Gen1 output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataLakeStoreSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Próximas etapasNext steps

Para obter uma lista de armazenamentos de dados com suporte como origens e coletores pela atividade de cópia no Azure Data Factory, consulte Armazenamentos de dados com suporte.For a list of data stores supported as sources and sinks by the copy activity in Azure Data Factory, see supported data stores.