Formato binário no Azure Data FactoryBinary format in Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

O formato binário tem suporte para os seguintes conectores: Amazon S3, blob do Azure, Azure data Lake Storage Gen1, Azure data Lake Storage Gen2, armazenamento de arquivos do Azure, sistema de arquivos, FTP, Google Cloud Storage, HDFS, httpe SFTP.Binary format is supported for the following connectors: Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure File Storage, File System, FTP, Google Cloud Storage, HDFS, HTTP, and SFTP.

Você pode usar o conjunto de um DataSet binário na atividade de cópia, na atividade GetMetadataou na atividade de exclusão.You can use Binary dataset in Copy activity, GetMetadata activity, or Delete activity. Ao usar o DataSet binário, o ADF não analisa o conteúdo do arquivo, mas o trata como está.When using Binary dataset, ADF does not parse file content but treat it as-is.

Observação

Ao usar o DataSet binário na atividade de cópia, você só pode copiar de um conjunto de um binário para um conjunto de um binário.When using Binary dataset in copy activity, you can only copy from Binary dataset to Binary dataset.

Propriedades do conjunto de dadosDataset properties

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.For a full list of sections and properties available for defining datasets, see the Datasets article. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de banco de e binário.This section provides a list of properties supported by the Binary dataset.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type do conjunto de conjuntos deve ser definida como Binary.The type property of the dataset must be set to Binary. YesYes
locallocation Configurações de local dos arquivos.Location settings of the file(s). Cada conector baseado em arquivo tem seu próprio tipo de local e propriedades com suporte em location .Each file-based connector has its own location type and supported properties under location. Consulte os detalhes no artigo do conector – > seção Propriedades do conjunto de informações.See details in connector article -> Dataset properties section. YesYes
compactaçãocompression Grupo de propriedades para configurar a compactação de arquivo.Group of properties to configure file compression. Configure esta seção quando desejar fazer compactação/descompactação durante a execução da atividade.Configure this section when you want to do compression/decompression during activity execution. NãoNo
typetype O codec de compactação usado para ler/gravar arquivos binários.The compression codec used to read/write binary files.
Os valores permitidos são bzip2, gzip, deflate, ZipDeflate, tar ou TarGzip.Allowed values are bzip2, gzip, deflate, ZipDeflate, Tar, or TarGzip.
Observação ao usar a atividade de cópia para ZipDeflate descompactar / TarGzip / arquivo (s) ZipDeflate TarGzip tar e gravar no armazenamento de dados de coletor baseado em arquivo, por padrão os arquivos são extraídos para a pasta: <path specified in dataset>/<folder named as source compressed file>/ , use preserveZipFileNameAsFolder / preserveCompressionFileNameAsFolder na origem da atividade de cópia para controlar se deseja preservar o nome dos arquivos compactados como estrutura de pastas.Note when using copy activity to decompress ZipDeflate/TarGzip/Tar file(s) and write to file-based sink data store, by default files are extracted to the folder:<path specified in dataset>/<folder named as source compressed file>/, use preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolder on copy activity source to control whether to preserve the name of the compressed file(s) as folder structure.
NoNo
nívellevel A taxa de compactação.The compression ratio. Aplicar quando o conjunto de um for usado no coletor da atividade de cópia.Apply when dataset is used in Copy activity sink.
Os valores permitidos são ideal ou mais rápido.Allowed values are Optimal or Fastest.
- Mais rápido: A operação de compactação deve ser concluída o mais rápido possível, mesmo que o arquivo resultante não seja compactado de maneira ideal.- Fastest: The compression operation should complete as quickly as possible, even if the resulting file is not optimally compressed.
- Ideal: a operação de compactação deve ser corretamente compactada, mesmo se a operação levar mais tempo para ser concluída.- Optimal: The compression operation should be optimally compressed, even if the operation takes a longer time to complete. Para saber mais, veja o tópico Nível de compactação .For more information, see Compression Level topic.
NoNo

Veja abaixo um exemplo de conjunto de uma Binary DataSet no armazenamento de BLOBs do Azure:Below is an example of Binary dataset on Azure Blob Storage:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Propriedades da atividade de cópiaCopy activity properties

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines.For a full list of sections and properties available for defining activities, see the Pipelines article. Esta seção fornece uma lista das propriedades com suporte pela fonte binária e pelo coletor.This section provides a list of properties supported by the Binary source and sink.

Observação

Ao usar o DataSet binário na atividade de cópia, você só pode copiar de um conjunto de um binário para um conjunto de um binário.When using Binary dataset in copy activity, you can only copy from Binary dataset to Binary dataset.

Binário como fonteBinary as source

As propriedades a seguir têm suporte na seção atividade de cópia **_ _ origem ****.The following properties are supported in the copy activity __source** section.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type da fonte da atividade de cópia deve ser definida como binaryname.The type property of the copy activity source must be set to BinarySource. YesYes
formatSettingsformatSettings Um grupo de propriedades.A group of properties. Consulte a tabela configurações de leitura binária abaixo.Refer to Binary read settings table below. NoNo
storeSettingsstoreSettings Um grupo de propriedades sobre como ler dados de um armazenamento de dados.A group of properties on how to read data from a data store. Cada conector baseado em arquivo tem suas próprias configurações de leitura com suporte em storeSettings .Each file-based connector has its own supported read settings under storeSettings. Veja os detalhes no artigo do conector – > seção Propriedades da atividade de cópia.See details in connector article -> Copy activity properties section. NoNo

Configurações de leitura binária com suporte em formatSettings :Supported binary read settings under formatSettings:

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype O tipo de formatSettings deve ser definido como BinaryReadSettings.The type of formatSettings must be set to BinaryReadSettings. YesYes
compactpropertiescompressionProperties Um grupo de propriedades sobre como descompactar dados para um determinado codec de compactação.A group of properties on how to decompress data for a given compression codec. NoNo
preserveZipFileNameAsFolderpreserveZipFileNameAsFolder
(em compressionProperties -> type como ZipDeflateReadSettings)(under compressionProperties->type as ZipDeflateReadSettings)
Aplica-se quando o conjunto de dados de entrada é configurado com compactação ZipDeflate .Applies when input dataset is configured with ZipDeflate compression. Indica se o nome do arquivo zip de origem deve ser preservado como estrutura de pastas durante a cópia.Indicates whether to preserve the source zip file name as folder structure during copy.
-Quando definido como true (padrão), data Factory grava arquivos descompactados em <path specified in dataset>/<folder named as source zip file>/ .- When set to true (default), Data Factory writes unzipped files to <path specified in dataset>/<folder named as source zip file>/.
-Quando definido como false, data Factory grava arquivos descompactados diretamente no <path specified in dataset> .- When set to false, Data Factory writes unzipped files directly to <path specified in dataset>. Verifique se você não tem nomes de arquivo duplicados em arquivos zip de origem diferentes para evitar a corrida ou comportamento inesperado.Make sure you don’t have duplicated file names in different source zip files to avoid racing or unexpected behavior.
NoNo
preserveCompressionFileNameAsFolderpreserveCompressionFileNameAsFolder
(em compressionProperties -> type como TarGZipReadSettings ou TarReadSettings)(under compressionProperties->type as TarGZipReadSettings or TarReadSettings)
Aplica-se quando o conjunto de TarGzip dados de entrada é configurado com / compactação tar TarGzip.Applies when input dataset is configured with TarGzip/Tar compression. Indica se o nome do arquivo compactado de origem deve ser preservado como estrutura de pastas durante a cópia.Indicates whether to preserve the source compressed file name as folder structure during copy.
-Quando definido como true (padrão), data Factory grava arquivos descompactados em <path specified in dataset>/<folder named as source compressed file>/ .- When set to true (default), Data Factory writes decompressed files to <path specified in dataset>/<folder named as source compressed file>/.
-Quando definido como false, data Factory grava arquivos descompactados diretamente no <path specified in dataset> .- When set to false, Data Factory writes decompressed files directly to <path specified in dataset>. Verifique se você não tem nomes de arquivo duplicados em arquivos de origem diferentes para evitar a corrida ou comportamento inesperado.Make sure you don’t have duplicated file names in different source files to avoid racing or unexpected behavior.
NoNo
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Binário como coletorBinary as sink

As propriedades a seguir têm suporte na seção atividade de cópia **_ _ Sink ****.The following properties are supported in the copy activity __sink** section.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type da fonte da atividade de cópia deve ser definida como BinarySink.The type property of the copy activity source must be set to BinarySink. YesYes
storeSettingsstoreSettings Um grupo de propriedades sobre como gravar dados em um armazenamento de dados.A group of properties on how to write data to a data store. Cada conector baseado em arquivo tem suas próprias configurações de gravação com suporte em storeSettings .Each file-based connector has its own supported write settings under storeSettings. Veja os detalhes no artigo do conector – > seção Propriedades da atividade de cópia.See details in connector article -> Copy activity properties section. NãoNo

Próximas etapasNext steps