Formato avro in Azure Data FactoryAvro format in Azure Data Factory

Seguire questo articolo quando si vuole analizzare i file avro o scrivere i dati in formato avro.Follow this article when you want to parse the Avro files or write the data into Avro format.

Il formato avro è supportato per i connettori seguenti : Amazon S3, BLOB di Azure, Azure Data Lake storage Gen1, Azure Data Lake storage Gen2, archiviazione file di Azure, file System, FTP, Google Cloud Storage, HDFS, httpe SFTP.Avro format is supported for the following connectors: Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure File Storage, File System, FTP, Google Cloud Storage, HDFS, HTTP, and SFTP.

Proprietà del set di datiDataset properties

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione dei set di dati, vedere l'articolo Set di dati.For a full list of sections and properties available for defining datasets, see the Datasets article. Questa sezione presenta un elenco delle proprietà supportate dal set di dati avro.This section provides a list of properties supported by the Avro dataset.

ProprietàProperty DescriptionDescription ObbligatoriaRequired
typetype La proprietà Type del set di dati deve essere impostata su avro.The type property of the dataset must be set to Avro. Yes
locationlocation Impostazioni del percorso dei file.Location settings of the file(s). Ogni connettore basato su file ha un tipo di percorso e proprietà supportate in location.Each file-based connector has its own location type and supported properties under location. Per informazioni dettagliate, vedere l'articolo connettore-> sezione Proprietà set di dati.See details in connector article -> Dataset properties section. Yes
avroCompressionCodecavroCompressionCodec Codec di compressione da usare durante la scrittura nei file avro.The compression codec to use when writing to Avro files. Durante la lettura da file Avro, Data Factory determina automaticamente il codec di compressione basato sui metadati del file.When reading from Avro files, Data Factory automatically determine the compression codec based on the file metadata.
I tipi supportati sono "None" (impostazione predefinita), "deflate", "Snapper".Supported types are "none" (default), "deflate", "snappy".
NoNo

Nota

Lo spazio vuoto nel nome della colonna non è supportato per i file avro.White space in column name is not supported for Avro files.

Di seguito è riportato un esempio di set di dati avro nell'archivio BLOB di Azure:Below is an example of Avro dataset on Azure Blob Storage:

{
    "name": "AvroDataset",
    "properties": {
        "type": "Avro",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "avroCompressionCodec": "snappy"
        }
    }
}

Proprietà dell'attività di copiaCopy activity properties

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione delle attività, vedere l'articolo sulle pipeline.For a full list of sections and properties available for defining activities, see the Pipelines article. Questa sezione presenta un elenco delle proprietà supportate dall'origine e dal sink avro.This section provides a list of properties supported by the Avro source and sink.

Avro come origineAvro as source

Le proprietà seguenti sono supportate nella sezione *origine* dell'attività di copia.The following properties are supported in the copy activity *source* section.

ProprietàProperty DescriptionDescription ObbligatoriaRequired
typetype La proprietà Type dell'origine dell'attività di copia deve essere impostata su AvroSource.The type property of the copy activity source must be set to AvroSource. Yes
storeSettingsstoreSettings Un gruppo di proprietà su come leggere i dati da un archivio dati.A group of properties on how to read data from a data store. Ogni connettore basato su file ha le proprie impostazioni di lettura supportate in storeSettings.Each file-based connector has its own supported read settings under storeSettings. Per informazioni dettagliate, vedere l'articolo connettore > sezione proprietà dell'attività di copia.See details in connector article -> Copy activity properties section. NoNo

Avro come sinkAvro as sink

Le proprietà seguenti sono supportate nella sezione *sink* dell'attività di copia.The following properties are supported in the copy activity *sink* section.

ProprietàProperty DescriptionDescription ObbligatoriaRequired
typetype La proprietà Type dell'origine dell'attività di copia deve essere impostata su AvroSink.The type property of the copy activity source must be set to AvroSink. Yes
storeSettingsstoreSettings Gruppo di proprietà su come scrivere dati in un archivio dati.A group of properties on how to write data to a data store. Ogni connettore basato su file ha le proprie impostazioni di scrittura supportate in storeSettings.Each file-based connector has its own supported write settings under storeSettings. Per informazioni dettagliate, vedere l'articolo connettore > sezione proprietà dell'attività di copia.See details in connector article -> Copy activity properties section. NoNo

Supporto dei tipi di datiData type support

I tipi di dati complessi avro non sono supportati (record, enumerazioni, matrici, mappe, unioni e fissi).Avro complex data types are not supported (records, enums, arrays, maps, unions, and fixed).

Passaggi successiviNext steps