Kopiera data från Amazon S3 Compatible Storage med hjälp av Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du kopierar data från Amazon Simple Storage Service (Amazon S3) Compatible Storage. Mer information finns i introduktionsartiklarna om Azure Data Factory och Synapse Analytics.

Funktioner som stöds

Den här Amazon S3-Storage-anslutningsappen stöds för följande aktiviteter:

Mer specifikt stöder den här Amazon S3 Compatible Storage-anslutningsappen kopiering av filer som de är eller parsning av filer med de filformat och komprimerings-codecs som stöds. Anslutningsappen använder AWS Signature Version 4 för att autentisera begäranden till S3. Du kan använda den här Amazon S3 Compatible Storage-anslutningsappen för att kopiera data från valfri S3-kompatibel lagringsprovider. Ange motsvarande tjänst-URL i den länkade tjänstkonfigurationen.

Behörigheter som krävs

Om du vill kopiera data från Amazon S3 Compatible Storage kontrollerar du att du har beviljats följande behörigheter för Amazon S3-objektåtgärder: s3:GetObject och s3:GetObjectVersion .

Om du använder användargränssnittet för att skapa krävs ytterligare behörigheter och för åtgärder som s3:ListAllMyBucketss3:ListBucket/s3:GetBucketLocation att testa anslutningen till den länkade tjänsten och bläddra från roten. Om du inte vill bevilja dessa behörigheter kan du välja alternativen "Testa anslutning till filsökväg" eller "Bläddra från angiven sökväg" i användargränssnittet.

En fullständig lista över Amazon S3-behörigheter finns i Ange behörigheter i en princip på AWS-webbplatsen.

Komma igång

Om du vill aktiviteten Kopiera med en pipeline kan du använda något av följande verktyg eller SDK:er:

Skapa en länkad tjänst till Amazon S3 Compatible Storage med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till Amazon S3 Compatible Storage i Azure Portal användargränssnitt.

  1. Bläddra till fliken Hantera i arbetsytan Azure Data Factory Synapse och välj Länkade tjänster och klicka sedan på Ny:

  2. Sök efter Amazon och välj Amazon S3 Compatible Storage Connector.

    Select the Amazon S3 Compatible Storage connector.

  3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

    Configure a linked service to Amazon S3 Compatible Storage.

Konfigurationsinformation för anslutning

Följande avsnitt innehåller information om egenskaper som används för att definiera entiteter som är specifika för Amazon S3 Compatible Storage.

Egenskaper för länkad tjänst

Följande egenskaper stöds för en länkad Amazon S3-tjänst:

Egenskap Beskrivning Krävs
typ Egenskapen type måste anges till AmazonS3Compatible. Ja
accessKeyId ID för den hemliga åtkomstnyckeln. Ja
secretAccessKey Själva den hemliga åtkomstnyckeln. Markera det här fältet som en SecureString för att lagra det på ett säkert sätt, eller referera till en hemlighet som lagras i Azure Key Vault. Ja
serviceUrl Ange den anpassade S3-slutpunkten https://<service url> . Inga
forcePathStyle Anger om du vill använda S3-sökvägsåtkomst i stället för åtkomst i virtuellt värdformat. Tillåtna värden är: false (standard), true.
Kontrollera dokumentationen för varje datalager om sökvägsåtkomst krävs eller inte.
Inga
connectVia Integreringskörningen som ska användas för att ansluta till datalagret. Du kan använda Azure Integration Runtime eller integration Runtime med egen värd (om ditt datalager finns i ett privat nätverk). Om den här egenskapen inte anges använder tjänsten standardinställningen Azure Integration Runtime. Inga

Exempel:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datamängd

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar.

Azure Data Factory stöder följande filformat. I varje artikel finns formatbaserade inställningar.

Följande egenskaper stöds för Amazon S3 Compatible under location inställningar i en formatbaserad datauppsättning:

Egenskap Beskrivning Krävs
typ Typegenskapen under i en datauppsättning måste anges till AmazonS3CompatibleLocation. Ja
bucketName S3-kompatibelt Storage bucketnamn. Ja
folderPath Sökvägen till mappen under den angivna bucketen. Om du vill använda ett jokertecken för att filtrera mappen hoppar du över den här inställningen och anger den i inställningarna för aktivitetskällan. Inga
fileName Filnamnet under den angivna bucketen och mappsökvägen. Om du vill använda ett jokertecken för att filtrera filer hoppar du över den här inställningen och anger den i inställningarna för aktivitetskällan. Inga
version Versionen av S3-kompatibelt Storage-objekt, om S3-kompatibel Storage versionshantering är aktiverad. Om den inte anges hämtas den senaste versionen. Inga

Exempel:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines. Det här avsnittet innehåller en lista över egenskaper som amazon S3-Storage har stöd för.

Amazon S3 Compatible Storage som källtyp

Azure Data Factory stöder följande filformat. I varje artikel finns formatbaserade inställningar.

Följande egenskaper stöds för Amazon S3 Compatible Storage under storeSettings inställningar i en formatbaserad kopieringskälla:

Egenskap Beskrivning Krävs
typ Typegenskapen under måste anges till AmazonS3CompatibleReadSettings. Ja
Leta upp de filer som ska kopieras:
ALTERNATIV 1: statisk sökväg
Kopiera från den angivna bucket- eller mapp-/filsökvägen som anges i datauppsättningen. Om du vill kopiera alla filer från en bucket eller mapp anger du dessutom wildcardFileName som * .
ALTERNATIV 2: S3-kompatibelt Storage prefix
– prefix
Prefix för S3-kompatibelt Storage under den angivna bucketen som konfigurerats i en datauppsättning för att filtrera käll-S3-kompatibla Storage filer. S3 Compatible Storage keys vars namn börjar med bucket_in_dataset/this_prefix har valts. Den använder S3 Compatible Storage s filter på tjänstsidan, vilket ger bättre prestanda än ett jokerteckenfilter.

När du använder prefix och väljer att kopiera till en filbaserad mottagare med bevarad hierarki bör du observera att den underordnade sökvägen efter den sista "/" i prefixet bevaras. Du har till exempel källan bucket/folder/subfolder/file.txt och konfigurerar prefixet som . Då är den folder/sub bevarade filsökvägen subfolder/file.txt .
Inga
ALTERNATIV 3: jokertecken
– wildcardFolderPath
Mappsökvägen med jokertecken under den angivna bucketen konfigurerad i en datauppsättning för att filtrera källmappar.
Tillåtna jokertecken är: * (matchar noll eller flera tecken) ? och (matchar noll eller enskilt tecken). Använd ^ för att escape-ange om mappnamnet har ett jokertecken eller det här escape-tecknet inuti.
Se fler exempel i Exempel på mapp- och filfilter.
Inga
ALTERNATIV 3: jokertecken
– jokerteckenFileName
Filnamnet med jokertecken under den angivna bucket- och mappsökvägen (eller jokerteckenmappens sökväg) för att filtrera källfiler.
Tillåtna jokertecken är: * (matchar noll eller flera tecken) ? och (matchar noll eller enskilt tecken). Använd ^ för att escape-ange om filnamnet innehåller ett jokertecken eller det här escape-tecknet. Se fler exempel i Exempel på mapp- och filfilter.
Ja
ALTERNATIV 4: en lista över filer
– fileListPath
Anger att en viss filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till den sökväg som konfigurerats i datauppsättningen.
När du använder det här alternativet ska du inte ange något filnamn i datauppsättningen. Se fler exempel i Fillisteexempel.
Inga
Ytterligare inställningar:
Rekursiv Anger om data läses rekursivt från undermapparna eller endast från den angivna mappen. Observera att när rekursivt är inställt på sant och mottagaren är ett filbaserat arkiv, kopieras eller skapas inte en tom mapp eller undermapp i mottagaren.
Tillåtna värden är true (standard) och false.
Den här egenskapen gäller inte när du konfigurerar fileListPath .
Inga
deleteFilesAfterCompletion Anger om de binära filerna kommer att tas bort från källarkivet när de har flyttats till målarkivet. Filborttagningen är per fil, så när kopieringsaktiviteten misslyckas ser du att vissa filer redan har kopierats till målet och tagits bort från källan, medan andra fortfarande finns kvar i källarkivet.
Den här egenskapen är endast giltig i kopieringsscenario med binära filer. Standardvärdet: false.
Inga
modifiedDatetimeStart Filer filtreras baserat på attributet: senast ändrad.
Filerna väljs om deras senaste ändringstid är större än eller lika med modifiedDatetimeStart och mindre än modifiedDatetimeEnd . Tiden tillämpas på en UTC-tidszon i formatet "2018-12-01T05:00:00Z".
Egenskaperna kan vara NULL, vilket innebär att inget filattributfilter tillämpas på datauppsättningen. När har ett datetime-värde men är NULL , väljs de filer vars senast ändrade attribut är större än eller modifiedDatetimeStartmodifiedDatetimeEnd lika med datetime-värdet. modifiedDatetimeStart När har ett datetime-värde men är NULL , väljs de filer vars senast ändrade attribut är mindre modifiedDatetimeEndmodifiedDatetimeStart än datetime-värdet. modifiedDatetimeEnd
Den här egenskapen gäller inte när du konfigurerar fileListPath .
Inga
modifiedDatetimeEnd Samma som ovan. Inga
enablePartitionDiscovery För filer som är partitionerade anger du om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner.
Tillåtna värden är false (standard) och true.
Inga
partitionRootPath När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.

Om det inte anges, som standard,
– När du använder filsökvägen i datauppsättningen eller listan med filer på källan är partitionens rotsökväg den sökväg som konfigureras i datauppsättningen.
– När du använder mappfilter med jokertecken är partitionens rotsökväg undersökvägen före det första jokertecknet.
– När du använder prefixet är partitionens rotsökväg en undersökväg före den sista "/".

Anta till exempel att du konfigurerar sökvägen i datauppsättningen som "root/folder/year=2020/month=08/day=27":
– Om du anger partitionens rotsökväg som "root/folder/year=2020" genererar kopieringsaktiviteten ytterligare två kolumner och med värdet monthday "08" respektive "27" förutom kolumnerna i filerna.
– Om partitionens rotsökväg inte anges genereras ingen extra kolumn.
Inga
maxConcurrentConnections Den övre gränsen för samtidiga anslutningar som upprättas till datalagret under aktivitetskörningen. Ange bara ett värde när du vill begränsa samtidiga anslutningar. Inga

Exempel:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exempel på mapp- och filfilter

I det här avsnittet beskrivs resultatet av mappsökvägen och filnamnet med jokerteckenfilter.

Hink key Rekursiv Källmappens struktur och filterresultat (filer i fetstil hämtas)
Hink Folder*/* falskt Hink
    MappA
        File1.csv
        File2.json
        Undermapp1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
Hink Folder*/* true Hink
    MappA
        File1.csv
        File2.json
        Undermapp1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
Hink Folder*/*.csv falskt Hink
    MappA
        File1.csv
        File2.json
        Undermapp1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
Hink Folder*/*.csv true Hink
    MappA
        File1.csv
        File2.json
        Undermapp1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv

Exempel på fillistor

I det här avsnittet beskrivs resultatet av att använda en sökväg till en fillista i aktiviteten Kopiera källa.

Anta att du har följande källmappstruktur och vill kopiera filerna i fetstil:

Exempel på källstruktur Innehåll i FileListToCopy.txt Konfiguration
Hink
    MappA
        File1.csv
        File2.json
        Undermapp1
            File3.csv
            File4.json
            File5.csv
    Metadata
        FileListToCopy.txt
File1.csv
Undermapp1/File3.csv
Undermapp1/File5.csv
I datauppsättning:
– Bucket: bucket
– Mappsökväg: FolderA

I aktiviteten Kopiera källa:
– Sökväg till fillista: bucket/Metadata/FileListToCopy.txt

Sökvägen till fillistan pekar på en textfil i samma datalager som innehåller en lista över filer som du vill kopiera, en fil per rad, med den relativa sökvägen till den sökväg som konfigurerats i datauppsättningen.

Egenskaper för sökningsaktivitet

Mer information om egenskaperna finns i Lookup activity (Sökningsaktivitet).

Egenskaper för GetMetadata-aktivitet

Mer information om egenskaperna finns i GetMetadata-aktiviteten.

Ta bort aktivitetsegenskaper

Mer information om egenskaperna finns i Ta bort aktivitet.

Nästa steg

En lista över datalager som aktiviteten Kopiera stöder som källor och mottagare finns i Datalager som stöds.