Binärt format i Azure Data Factory och Synapse Analytics

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Binärt format stöds för följande anslutningsappar: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage och SFTP.

Du kan använda binär datauppsättning i aktiviteten Kopiera, GetMetadata-aktivitet eller Ta bort aktivitet. När du använder binär datauppsättning parsar tjänsten inte filinnehåll utan behandlar det som det är.

Kommentar

När du använder binär datauppsättning i kopieringsaktivitet kan du bara kopiera från binär datauppsättning till binär datauppsättning.

Egenskaper för datauppsättning

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar . Det här avsnittet innehåller en lista över egenskaper som stöds av den binära datamängden.

Property Beskrivning Obligatoriskt
type Datamängdens typegenskap måste anges till Binär. Ja
plats Platsinställningar för filen eller filerna. Varje filbaserad anslutningsapp har en egen platstyp och egenskaper som stöds under location. Mer information finns i artikeln om anslutningsappar –> avsnittet Egenskaper för datauppsättning. Ja
komprimering Grupp med egenskaper för att konfigurera filkomprimering. Konfigurera det här avsnittet när du vill utföra komprimering/dekomprimering under aktivitetskörningen. Nej
type Komprimeringskodcen som används för att läsa/skriva binära filer.
Tillåtna värden är bzip2, gzip, deflate, ZipDeflate, Tar eller TarGzip.
Observera att när du använder kopieringsaktivitet för att dekomprimera ZipDeflate/TarGzip/Tar-filer och skriva till filbaserade mottagardatalager extraheras som standardfiler till mappen:<path specified in dataset>/<folder named as source compressed file>/, använd/preserveCompressionFileNameAsFolderpreserveZipFileNameAsFolderpå kopieringsaktivitetskällan för att kontrollera om namnet på de komprimerade filerna ska behållas som mappstruktur.		 Nej
nivå Komprimeringsförhållandet. Använd när datauppsättningen används i aktiviteten Kopiera mottagare.
Tillåtna värden är optimala eller snabbaste.
- Snabbast: Komprimeringsåtgärden bör slutföras så snabbt som möjligt, även om den resulterande filen inte komprimeras optimalt.
- Optimal: Komprimeringsåtgärden bör komprimeras optimalt, även om åtgärden tar längre tid att slutföra. Mer information finns i avsnittet Komprimeringsnivå .		 Nej

Nedan visas ett exempel på binär datauppsättning i Azure Blob Storage:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som stöds av binär källa och mottagare.

Kommentar

När du använder binär datauppsättning i kopieringsaktivitet kan du bara kopiera från binär datauppsättning till binär datauppsättning.

Binär som källa

Följande egenskaper stöds i avsnittet kopieringsaktivitet *källa* .

Property Beskrivning Obligatoriskt
type Typegenskapen för kopieringsaktivitetskällan måste anges till BinarySource. Ja
format Inställningar En grupp med egenskaper. Se tabellen För binära läsinställningar nedan. Nej
store Inställningar En grupp med egenskaper för hur du läser data från ett datalager. Varje filbaserad anslutningsapp har egna läsinställningar som stöds under storeSettings. Mer information finns i artikeln om anslutningsappar –> aktiviteten Kopiera egenskaper. Nej

Inställningar för binär läsning som stöds under formatSettings:

Property Beskrivning Obligatoriskt
type Typ av format Inställningar måste anges till BinaryRead Inställningar. Ja
compressionProperties En grupp med egenskaper för hur du dekomprimeras data för en viss komprimeringskodc. Nej
preserveZipFileNameAsFolder
(under compressionProperties->type som ZipDeflateReadSettings)		 Gäller när indatauppsättningen konfigureras med ZipDeflate-komprimering . Anger om käll-zip-filnamnet ska behållas som mappstruktur under kopiering.
– När värdet är true (standard) skriver tjänsten uppackade filer till <path specified in dataset>/<folder named as source zip file>/.
– När värdet är falskt skriver tjänsten uppackade filer direkt till <path specified in dataset>. Kontrollera att du inte har duplicerade filnamn i olika zip-källfiler för att undvika racing eller oväntat beteende.		 Nej
preserveCompressionFileNameAsFolder
(under compressionProperties->type som TarGZipReadSettings eller TarReadSettings)		 Gäller när indatauppsättningen konfigureras med TarGzip/Tar-komprimering. Anger om källans komprimerade filnamn ska bevaras som mappstruktur under kopieringen.
– När värdet är true (standard) skriver tjänsten dekomprimerade filer till <path specified in dataset>/<folder named as source compressed file>/.
– När värdet är falskt skriver tjänsten dekomprimerade filer direkt till <path specified in dataset>. Kontrollera att du inte har duplicerade filnamn i olika källfiler för att undvika racing eller oväntat beteende.		 Nej 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Binär som mottagare

Följande egenskaper stöds i avsnittet kopieringsaktivitet *mottagare* .

Property Beskrivning Obligatoriskt
type Typegenskapen för kopieringsaktivitetskällan måste anges till BinarySink. Ja
store Inställningar En grupp med egenskaper för hur du skriver data till ett datalager. Varje filbaserad anslutningsapp har egna skrivinställningar som stöds under storeSettings. Mer information finns i artikeln om anslutningsappar –> aktiviteten Kopiera egenskaper. Nej

Relaterat innehåll