Formato binário na Azure Data Factory e Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

O formato binário é suportado para os seguintes conectores: Amazon S3, Amazon S3 Compatível Armazenamento, Azure Blob, Azure Data Lake Armazenamento Gen1, Azure Data Lake Armazenamento Gen2, Azure Files, File System, FTP, Google Cloud Armazenamento, HDFS, HTTP, Oracle Cloud Armazenamento e SFTP.

Pode utilizar o conjunto de dados binário na atividade Copy, GetMetadataou eliminar a atividade. Ao utilizar o conjunto de dados binário, o serviço não analisa o conteúdo dos ficheiros, mas trata-o como está.

Nota

Ao utilizar o conjunto de dados binário na atividade de cópia, só pode copiar do conjunto de dados binário para o conjunto de dados binários.

Dataset properties (Propriedades do conjunto de dados)

Para obter uma lista completa de secções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Datasets. Esta secção fornece uma lista de propriedades suportadas pelo conjunto de dados binários.

Propriedade Descrição Obrigatório
tipo A propriedade do tipo do conjunto de dados deve ser definida como Binary. Yes
localização Definições de localização do(s) ficheiros. Cada conector baseado em ficheiros tem o seu próprio tipo de localização e propriedades suportadas em location . Consulte os detalhes na secção de propriedades do conector -> Dataset. Yes
compressão Grupo de propriedades para configurar a compressão do ficheiro. Configure esta secção quando pretender fazer compressão/descompressão durante a execução da atividade. No
tipo O códice de compressão usado para ler/escrever ficheiros binários.
Os valores permitidos são bzip2, gzip, deflate, ZipDeflate, Tar, ou TarGzip.
Nota quando utilizar a atividade de cópia para descomprimir os / ficheiros TarGzip TarGzip / e escrever para a loja de dados da pia baseada em ficheiros, por predefinição os ficheiros são extraídos para a pasta: , <path specified in dataset>/<folder named as source compressed file>/ utilize na fonte de atividade de preserveZipFileNameAsFolder / preserveCompressionFileNameAsFolder cópia para controlar se deve preservar o nome dos ficheiros(s) comprimidos como estrutura de pasta.
No
nível A relação de compressão. Aplicar quando o conjunto de dados for utilizado na pia de atividade do Copy.
Os valores permitidos são ótimos ou mais rápidos.
- Mais rápido: O funcionamento da compressão deve ser concluído o mais rapidamente possível, mesmo que o ficheiro resultante não seja perfeitamente comprimido.
- Ótimo: O funcionamento da compressão deve ser perfeitamente comprimido, mesmo que a operação leve mais tempo a ser concluída. Para mais informações, consulte o tópico nível de compressão.
No

Abaixo está um exemplo do conjunto de dados binários na Azure Blob Armazenamento:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de secções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines. Esta secção fornece uma lista de propriedades suportadas pela fonte binária e pia.

Nota

Ao utilizar o conjunto de dados binário na atividade de cópia, só pode copiar do conjunto de dados binário para o conjunto de dados binários.

Binário como fonte

As seguintes propriedades são suportadas na secção * de origem * da atividade de cópia.

Propriedade Descrição Obrigatório
tipo A propriedade tipo da fonte de atividade de cópia deve ser definida como BinarySource. Yes
formatoStas Um grupo de propriedades. Consulte a tabela de definições de leitura binária abaixo. No
lojaSs Um grupo de propriedades sobre como ler dados de uma loja de dados. Cada conector baseado em ficheiros tem as suas próprias definições de leitura suportadas em storeSettings . Consulte os detalhes na secção de propriedades de atividade do conector -> Copy. No

Definições de leitura binária suportadas em formatSettings :

Propriedade Descrição Obrigatório
tipo O tipo de formatoSettings deve ser definido para BinaryReadSettings. Yes
compressãoProperties Um grupo de propriedades sobre como descomprimir dados para um determinado codec de compressão. No
preservarZipFileNameAsFolder
(em compressionProperties -> type ZipDeflateReadSettings conforme)
Aplica-se quando o conjunto de dados de entrada é configurado com compressão ZipDeflate. Indica se deve preservar o nome do ficheiro zip de origem como estrutura de pasta durante a cópia.
- Quando definido como verdadeiro (predefinido), o serviço escreve ficheiros desapertados para <path specified in dataset>/<folder named as source zip file>/ .
- Quando definido como falso, o serviço escreve ficheiros desapertados diretamente para <path specified in dataset> . Certifique-se de que não tem nomes de ficheiros duplicados em diferentes ficheiros zip de origem para evitar corridas ou comportamentos inesperados.
No
preservar CompressãoFileNameAsFolder
(em compressionProperties -> type ou TarGZipReadSettings TarReadSettings menos)
Aplica-se quando o conjunto de dados de entrada é configurado com a compressão / tarGzip. Indica se deve preservar o nome do ficheiro comprimido de origem como estrutura de pasta durante a cópia.
- Quando definido como verdadeiro (predefinido), o serviço escreve ficheiros descomprimidos para <path specified in dataset>/<folder named as source compressed file>/ .
- Quando definido como falso, o serviço escreve ficheiros descomprimidos diretamente para <path specified in dataset> . Certifique-se de que não tem nomes de ficheiros duplicados em diferentes ficheiros de origem para evitar corridas ou comportamentos inesperados.
No
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Binário como pia

As seguintes propriedades são suportadas na secção de * lavatório * de atividade de cópia.

Propriedade Descrição Obrigatório
tipo A propriedade do tipo da fonte de atividade de cópia deve ser definida como BinarySink. Yes
lojaSs Um grupo de propriedades sobre como escrever dados para uma loja de dados. Cada conector baseado em ficheiros tem as suas próprias definições de escrita suportadas em storeSettings . Consulte os detalhes na secção de propriedades de atividade do conector -> Copy. Não

Próximos passos