Kopiera och transformera data i Azure Blob Storage med hjälp av Azure Data Factory eller Azure Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du använder aktiviteten Kopiera i Azure Data Factory och Azure Synapse pipelines för att kopiera data från och till Azure Blob Storage. Den beskriver också hur du använder Data Flow för att transformera data i Azure Blob Storage. Mer information finns i Azure Data Factory och Azure Synapse Analytics introduktionsartiklar.

Funktioner som stöds

Den här Anslutningsappen för Azure Blob Storage stöds för följande aktiviteter:

• aktiviteten Kopiera med käll-/mottagare-matris som stöds
• Mappa dataflöde
• Sökningsaktivitet
• GetMetadata-aktivitet
• Ta bort aktivitet

För den aktiviteten Kopiera stöder den här Blob Storage-anslutningen:

• Kopiera blobar till och från allmänna Azure-lagringskonton och bloblagring med hög/kall lagring.
• Kopiera blobar med hjälp av en kontonyckel, en signatur för delad åtkomst (SAS), ett huvudnamn för tjänsten eller hanterade identiteter för Azure-resursautentiseringar.
• Kopiera blobar från block-, tilläggs- eller sidblobar och kopiera data till endast blockblobar.
• Kopiera blobar som de är, eller parsa eller generera blobar med filformat och codec för komprimering som stöds.
• Bevara filmetadata under kopieringen.

Kom igång

Om du vill aktiviteten Kopiera med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Verktyget Kopiera data verktyg
• Azure-portalen
• .NET SDK
• The Python SDK
• Azure PowerShell
• REST-API:t.
• Mallen Azure Resource Manager

Skapa en Azure Blob Storage länkad tjänst med hjälp av användargränssnittet

Använd följande steg för att skapa en Azure Blob Storage länkad tjänst i Azure Portal användargränssnitt.

1. Bläddra till fliken Hantera i arbetsytan Azure Data Factory Synapse och välj Länkade tjänster och klicka sedan på Ny:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter blob och välj anslutningsappen Azure Blob Storage.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutning

Följande avsnitt innehåller information om egenskaper som används för att definiera Data Factory Synapse-pipelineentiteter som är specifika för Blob Storage.

Egenskaper för länkad tjänst

Den här anslutningsappen för Blob Storage stöder följande autentiseringstyper. Mer information finns i motsvarande avsnitt.

• Autentisering av kontonyckel
• Autentisering med signatur för delad åtkomst
• Autentisering av tjänstens huvudnamn
• Systemautentisering av hanterad identitet
• Användarautentisering av hanterad identitet

Autentisering av kontonyckel

Följande egenskaper stöds för autentisering av lagringskontonyckel i Azure Data Factory eller Synapse-pipelines:

Exempel:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel: lagra kontonyckeln i Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autentisering med signatur för delad åtkomst

En signatur för delad åtkomst ger delegerad åtkomst till resurser i ditt lagringskonto. Du kan använda en signatur för delad åtkomst för att ge en klient begränsad behörighet till objekt i ditt lagringskonto under en angiven tid.

Du behöver inte dela åtkomstnycklarna för ditt konto. Signaturen för delad åtkomst är en URI som i frågeparametrarna innehåller all information som behövs för autentiserad åtkomst till en lagringsresurs. För att få åtkomst till lagringsresurser med signaturen för delad åtkomst behöver klienten bara skicka signaturen för delad åtkomst till lämplig konstruktor eller metod.

Mer information om signaturer för delad åtkomst finns i Signaturer för delad åtkomst: Förstå signaturmodellen för delad åtkomst.

Följande egenskaper stöds för att använda autentisering med signatur för delad åtkomst:

Exempel:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel: lagra kontonyckeln i Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Tänk på följande när du skapar en signatur-URI för delad åtkomst:

• Ange lämpliga läs-/skrivbehörigheter för objekt baserat på hur den länkade tjänsten (läsa, skriva, läsa/skriva) används.
• Ange Förfallotid på lämpligt sätt. Kontrollera att åtkomsten till Storage objekt inte upphör att gälla inom den aktiva perioden för pipelinen.
• URI:en ska skapas i rätt container eller blob baserat på behovet. En signatur-URI för delad åtkomst till en blob gör att datafabriken eller Synapse-pipelinen kan komma åt den specifika bloben. En signatur-URI för delad åtkomst till en Blob Storage-container gör att datafabriken eller Synapse-pipelinen kan iterera genom blobar i containern. Kom ihåg att uppdatera den länkade tjänsten med den nya URI:en för att ge åtkomst till fler eller färre objekt senare, eller för att uppdatera signatur-URI för delad åtkomst.

Autentisering av tjänstens huvudnamn

Allmän information om hur Azure Storage autentisering av tjänstens huvudnamn finns i Autentisera åtkomst till Azure Storage med Azure Active Directory.

Följ dessa steg om du vill använda autentisering med tjänstens huvudnamn:

1. Registrera en programentitet i Azure Active Directory (Azure AD) genom att följa Registrera ditt program med en Azure AD-klientorganisation. Anteckna dessa värden, som du använder för att definiera den länkade tjänsten:

   • Program-ID:t
   • Programnyckel
   • Klientorganisations-ID

2. Ge tjänstens huvudnamn rätt behörighet i Azure Blob Storage. Mer information om rollerna finns i Använda Azure Portal för att tilldela en Azure-roll för åtkomst till blob- och ködata.

   • Som källa i Åtkomstkontroll (IAM) beviljar du minst rollen Storage Blob Data Reader.
   • Som mottagare i Åtkomstkontroll (IAM) beviljar du minst rollen Storage Blob Data-deltagare.

De här egenskaperna stöds för en länkad Azure Blob Storage-tjänst:

Exempel:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Systemautentisering av hanterad identitet

En datafabrik eller Synapse-pipeline kan associeras med en system tilldelad hanterad identitet för Azure-resurser, som representerar den resursen för autentisering till andra Azure-tjänster. Du kan använda den här system tilldelade hanterade identiteten direkt för Blob Storage-autentisering, vilket liknar att använda ditt eget huvudnamn för tjänsten. Det gör att den här avsedda resursen kan komma åt och kopiera data från eller till Blob Storage. Mer information om hanterade identiteter för Azure-resurser finns i Hanterade identiteter för Azure-resurser

Allmän information om hur Azure Storage autentisering finns i Autentisera åtkomst till Azure Storage med Azure Active Directory. Följ dessa steg om du vill använda hanterade identiteter för Azure-resursautentisering:

1. Hämta information om system tilldelad hanterad identitet genom att kopiera värdet för objekt-ID:t för den system tilldelade hanterade identiteten som genererades tillsammans med din fabrik eller Synapse-arbetsyta.

2. Ge den hanterade identiteten behörighet i Azure Blob Storage. Mer information om rollerna finns i Använda Azure Portal för att tilldela en Azure-roll för åtkomst till blob- och ködata.

   • Som källa i Åtkomstkontroll (IAM) beviljar du minst rollen Storage Blob Data Reader.
   • Som mottagare i Åtkomstkontroll (IAM) beviljar du minst rollen Storage Blob Data-deltagare.

De här egenskaperna stöds för en länkad Azure Blob Storage-tjänst:

Exempel:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Användar tilldelad autentisering av hanterad identitet

En datafabrik kan tilldelas en eller flera användar tilldelade hanterade identiteter. Du kan använda den här användar tilldelade hanterade identiteten för Blob Storage-autentisering, som ger åtkomst till och kopierar data från eller till Blob Storage. Mer information om hanterade identiteter för Azure-resurser finns i Hanterade identiteter för Azure-resurser

Allmän information om Azure Storage-autentisering finns i Autentisera åtkomst till Azure Storage med Azure Active Directory. Följ dessa steg om du vill använda autentisering med användar tilldelad hanterad identitet:

1. Skapa en eller flera användar tilldelade hanterade identiteter och bevilja behörighet i Azure Blob Storage. Mer information om rollerna finns i Använda Azure Portal för att tilldela en Azure-roll för åtkomst till blob- och ködata.

   • Som källa i Åtkomstkontroll (IAM) beviljar du minst Storage rollen Blob Data Reader.
   • Som mottagare, i Åtkomstkontroll (IAM) beviljar du minst rollen Storage Blob Data-deltagare.

2. Tilldela en eller flera användar tilldelade hanterade identiteter till din datafabrik och skapa autentiseringsuppgifter för varje användar tilldelad hanterad identitet.

Dessa egenskaper stöds för en länkad Azure Blob Storage-tjänst:

Exempel:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datamängd

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar.

Azure Data Factory har stöd för följande filformat. I varje artikel finns formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Följande egenskaper stöds för Azure Blob Storage under inställningar location i en formatbaserad datamängd:

Exempel:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines. Det här avsnittet innehåller en lista över egenskaper som bloblagringskällan och -mottagaren stöder.

Blob Storage som källtyp

Azure Data Factory har stöd för följande filformat. I varje artikel finns formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Följande egenskaper stöds för Azure Blob Storage under storeSettings inställningar i en formatbaserad kopieringskälla:

Exempel:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Blob Storage som mottagare

Azure Data Factory har stöd för följande filformat. I varje artikel finns formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• JSON-format
• ORC-format
• Parquet-format

Följande egenskaper stöds för Azure Blob Storage under storeSettings inställningar i en formatbaserad kopierings mottagare:

Exempel:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Exempel på mapp- och filfilter

I det här avsnittet beskrivs resultatet av mappsökvägen och filnamnet med jokerteckenfilter.

Exempel på fillistor

I det här avsnittet beskrivs resultatet av att använda en sökväg till en fillista i aktiviteten Kopiera-källan.

Anta att du har följande källmappstruktur och vill kopiera filerna i fetstil:

Några rekursiva exempel och copyBehavior-exempel

I det här avsnittet beskrivs resultatet av kopieringsåtgärden för olika kombinationer av rekursiva värden och copyBehavior-värden.

Bevara metadata under kopiering

När du kopierar filer från Amazon S3, Azure Blob Storage eller Azure Data Lake Storage Gen2 till Azure Data Lake Storage Gen2 eller Azure Blob Storage kan du välja att bevara filmetadata tillsammans med data. Läs mer i Preserve metadata (Bevara metadata).

Mappa dataflödesegenskaper

När du transformerar data i mappning av dataflöden kan du läsa och skriva filer från Azure Blob Storage i följande format:

• Avro
• Avgränsad text
• Delta
• Excel
• JSON
• Parquet

Formatspecifika inställningar finns i dokumentationen för det formatet. Mer information finns i Källtransformering i mappning av dataflöde och Sink transformation i mappning av dataflöde.

Källtransformering

Vid källtransformering kan du läsa från en container, mapp eller en enskild fil i Azure Blob Storage. Använd fliken Källalternativ för att hantera hur filerna läses.

Sökvägar med jokertecken: Om du använder ett jokerteckenmönster instrueras tjänsten att loopa genom varje matchande mapp och fil i en enda källtransformering. Det här är ett effektivt sätt att bearbeta flera filer i ett enda flöde. Lägg till flera matchningsmönster med jokertecken med plustecknet som visas när du hovrar över ditt befintliga jokerteckenmönster.

Välj en serie filer som matchar ett mönster från källcontainern. Endast en container kan anges i datauppsättningen. Sökvägen med jokertecken måste därför även innehålla sökvägen till mappen från rotmappen.

Exempel med jokertecken:

• * Representerar en uppsättning tecken.

• ** Representerar rekursiv katalogkapsling.

• ? Ersätter ett tecken.

• [] Matchar ett eller flera tecken inom hakparenteserna.

• /data/sales/**/*.csv Hämtar alla .csv filer under /data/sales.

• /data/sales/20??/**/ Hämtar alla filer under 1900-talet.

• /data/sales/*/*/*.csv Hämtar .csv filer två nivåer under /data/sales.

• /data/sales/2004/*/12/[XY]1?.csv Hämtar alla .csv filer i december 2004 och börjar med X eller Y med ett tvåsiffrigt tal som prefix.

Partitionsrotsökväg: Om du har partitionerade mappar i din filkälla med ett format (till exempel ), kan du tilldela den översta nivån i partitionsmappträdet till ett kolumnnamn i key=value year=2019 dataflödets dataström.

Ange först ett jokertecken för att inkludera alla sökvägar som är partitionerade mappar plus de lövfiler som du vill läsa.

Använd inställningen Partitionsrotsökväg för att definiera vilken mappstrukturens översta nivå är. När du visar innehållet i dina data via en dataförhandsgranskning ser du att tjänsten lägger till de lösta partitionerna som finns i var och en av dina mappnivåer.

Lista över filer: Det här är en filuppsättning. Skapa en textfil som innehåller en lista över relativa sökvägsfiler som ska bearbetas. Peka på den här textfilen.

Kolumn för att lagra filnamnet: Lagra namnet på källfilen i en kolumn i dina data. Ange ett nytt kolumnnamn här för att lagra filnamnssträngen.

Efter slutförande: Välj att inte göra något med källfilen när dataflödet har körs, ta bort källfilen eller flytta källfilen. Sökvägarna för flytten är relativa.

Om du vill flytta källfilerna till en annan plats efter bearbetningen väljer du först Flytta för filåtgärd. Ange sedan katalogen "from". Om du inte använder jokertecken för sökvägen är inställningen "från" samma mapp som källmappen.

Om du har en källsökväg med jokertecken ser syntaxen ut så här:

/data/sales/20??/**/*.csv

Du kan ange "från" som:

/data/sales

Och du kan ange "till" som:

/backup/priorSales

I det här fallet flyttas alla filer som källa under /data/sales till /backup/priorSales .

Filtrera efter senast ändrad: Du kan filtrera vilka filer du bearbetar genom att ange ett datumintervall för när de senast ändrades. Alla datum/tid-värden anges i UTC-tid.

Egenskaper för mottagare

I omvandlingen av mottagaren kan du skriva till antingen en container eller en mapp i Azure Blob Storage. Använd fliken Inställningar för att hantera hur filerna skrivs.

Rensa mappen: Anger om målmappen rensas innan data skrivs.

Filnamnsalternativ: Anger hur målfilerna namnges i målmappen. Alternativen för filnamn är:

• Standard: Tillåt Spark att namnge filer baserat på PART-standardvärden.
• Mönster: Ange ett mönster som räknar upp dina utdatafiler per partition. Skapar till loans[n].csv exempel , och så loans1.csv loans2.csv vidare.
• Per partition: Ange ett filnamn per partition.
• Som data i kolumnen: Ange utdatafilen till värdet för en kolumn. Sökvägen är relativ till datamängdscontainern, inte målmappen. Om du har en mappsökväg i datauppsättningen åsidosätts den.
• Utdata till en enskild fil: Kombinera de partitionerade utdatafilerna till en enda namngiven fil. Sökvägen är relativ till datamängdsmappen. Tänk på att sammanslagningsåtgärden kan misslyckas baserat på nodstorleken. Vi rekommenderar inte det här alternativet för stora datamängder.

Ange alla: Anger om du vill omsluta alla värden inom citattecken.

Egenskaper för sökningsaktivitet

Mer information om egenskaperna finns i Lookup activity (Sökningsaktivitet).

GetMetadata-aktivitetsegenskaper

Mer information om egenskaperna finns i GetMetadata-aktiviteten.

Ta bort aktivitetsegenskaper

Mer information om egenskaperna finns i Ta bort aktivitet.

Äldre modeller

Äldre datauppsättningsmodell

Exempel:

{
    "name": "AzureBlobDataset",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "<Azure Blob storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "mycontainer/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Äldre källmodell för aktiviteten Kopiera

Exempel:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Blob input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Äldre mottagare för aktiviteten Kopiera

Exempel:

"activities":[
    {
        "name": "CopyToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Blob output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BlobSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Nästa steg

En lista över datalager som stöds aktiviteten Kopiera som källor och mottagare finns i Datalager som stöds.