Gegevens kopiëren en transformeren in Azure Blob Storage met behulp van Azure Data Factory of Azure Synapse Analytics

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

In dit artikel wordt beschreven hoe u de Copy-activiteit in Azure Data Factory en Azure Synapse pijplijnen gebruikt om gegevens van en naar Azure Blob Storage te kopiëren. Ook wordt beschreven hoe u de activiteit Data Flow gebruikt om gegevens in Azure Blob Storage te transformeren. Lees voor meer informatie de Azure Data Factory en de Azure Synapse Analytics introductieartikelen.

Ondersteunde mogelijkheden

Deze Azure Blob Storage-connector wordt ondersteund voor de volgende activiteiten:

• Copy-activiteit ondersteunde bron-/sinkmatrix
• Toewijzingsgegevensstroom
• Activiteit Lookup
• GetMetadata-activiteit
• Activiteit verwijderen

Voor de Copy-activiteit biedt deze Blob Storage-connector ondersteuning voor:

• Blobs kopiëren naar en van Azure-opslagaccounts voor algemeen gebruik en hot/cool blob-opslag.
• Blobs kopiëren met behulp van een accountsleutel, een Sas (Service Shared Access Signature), een service-principal of beheerde identiteiten voor Azure-resourceverificaties.
• Het kopiëren van blobs van blok-, append- of pagina-blobs en het kopiëren van gegevens naar alleen blok-blobs.
• Het kopiëren van blobs zoals deze is, of het parseren of genereren van blobs met ondersteunde bestandsindelingen en compressiecodecs.
• Bestandsmetagegevens behouden tijdens het kopiëren.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

• Het hulpprogramma voor het kopiëren van gegevens
• Azure Portal
• De .NET-SDK
• De Python-SDK
• Azure PowerShell
• De REST-API
• Een Azure Resource Manager-sjabloon

Een gekoppelde Azure Blob Storage maken met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde Azure Blob Storage-service te maken in Azure Portal gebruikersinterface.

1. Blader naar het tabblad Beheren in uw Azure Data Factory of Synapse-werkruimte, selecteer Gekoppelde services en klik vervolgens op Nieuw:

   • Azure Data Factory
   • Azure Synapse

   

2. Zoek naar blob en selecteer de Azure Blob Storage-connector.

   

3. Configureer de servicegegevens, test de verbinding en maak de nieuwe gekoppelde service.

   

Configuratiedetails van connector

De volgende secties bieden details over eigenschappen die worden gebruikt voor het definiëren van Data Factory en Synapse-pijplijnentiteiten die specifiek zijn voor Blob Storage.

Eigenschappen van gekoppelde service

Deze Blob Storage-connector ondersteunt de volgende verificatietypen. Zie de bijbehorende secties voor meer informatie.

• Verificatie van accountsleutels
• Shared Access Signature-verificatie
• Verificatie van service-principal
• Door het systeem toegewezen beheerde identiteitsverificatie
• Door de gebruiker toegewezen beheerde identiteitsverificatie

Verificatie van accountsleutels

De volgende eigenschappen worden ondersteund voor verificatie van opslagaccountsleutels in Azure Data Factory of Synapse-pijplijnen:

Voorbeeld:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Voorbeeld: de accountsleutel opslaan in Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Shared Access Signature-verificatie

Een SAS (een handtekening voor gedeelde toegang) biedt gedelegeerde toegang tot resources in uw opslagaccount. U kunt een shared access signature gebruiken om een client beperkte machtigingen te verlenen voor objecten in uw opslagaccount voor een opgegeven tijd.

U hoeft de toegangssleutels van uw account niet te delen. De Shared Access Signature is een URI die in de queryparameters alle informatie omvat die nodig is voor geverifieerde toegang tot een opslagresource. Voor toegang tot opslagbronnen met de Shared Access Signature hoeft de client alleen de Shared Access Signature door te geven aan de juiste constructor of methode.

Zie Shared Access Signatures: Understand the shared access signature model (Handtekeningen voor gedeelde toegang: inzicht in het shared access signature-model)voor meer informatie over handtekeningen voor gedeelde toegang.

De volgende eigenschappen worden ondersteund voor het gebruik van shared access signature-verificatie:

Voorbeeld:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Voorbeeld: de accountsleutel opslaan in Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Wanneer u een SHARED Access Signature-URI maakt, moet u rekening houden met de volgende punten:

• Stel de juiste lees-/schrijfmachtigingen in voor objecten op basis van hoe de gekoppelde service (lezen, schrijven, lezen/schrijven) wordt gebruikt.
• Stel de verlooptijd op de juiste wijze in. Zorg ervoor dat de toegang tot Storage objecten niet verloopt binnen de actieve periode van de pijplijn.
• De URI moet worden gemaakt in de juiste container of blob op basis van de behoefte. Een Shared Access Signature-URI voor een blob biedt de data factory- of Synapse-pijplijn toegang tot die specifieke blob. Met een shared access signature-URI voor een Blob Storage-container kan de data factory- of Synapse-pijplijn door blobs in die container heen worden itereren. Als u later toegang wilt bieden tot meer of minder objecten of als u de SHARED Access Signature-URI wilt bijwerken, moet u de gekoppelde service bijwerken met de nieuwe URI.

Verificatie van service-principal

Zie Toegang tot toegang tot Azure Storage verifiëren Azure Storage service-principalverificatie voor algemene Azure Active Directory.

Volg deze stappen om verificatie van service-principals te gebruiken:

1. Registreer een toepassingsentiteit in Azure Active Directory (Azure AD) door Uw toepassing registreren bij een Azure AD-tenant te volgen. Noteer deze waarden, die u gebruikt om de gekoppelde service te definiëren:

   • Toepassings-id
   • Toepassingssleutel
   • Tenant-id

2. Verleen de service-principal de juiste machtiging in Azure Blob Storage. Zie Use the Azure Portal to assign an Azure role for access to blob and queue data (De rollen gebruiken om een Azure-rol toe te wijzen voor toegang tot blob- en wachtrijgegevens) voor meer informatieover de rollen.

   • Als bron verleent u in Toegangsbeheer (IAM) ten minste de rol Storage blobgegevenslezer.
   • Als sink verleent u in Toegangsbeheer (IAM) ten minste de rol Storage blobgegevensbijdrager.

Deze eigenschappen worden ondersteund voor een gekoppelde Azure Blob Storage-service:

Voorbeeld:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Door het systeem toegewezen beheerde identiteitsverificatie

Een data factory- of Synapse-pijplijn kan worden gekoppeld aan een door het systeem toegewezen beheerde identiteit voor Azure-resources,die die resource vertegenwoordigt voor verificatie bij andere Azure-services. U kunt deze door het systeem toegewezen beheerde identiteit rechtstreeks gebruiken voor blobopslagverificatie, wat vergelijkbaar is met het gebruik van uw eigen service-principal. Hierdoor kan deze aangewezen resource toegang krijgen tot gegevens van of naar Blob-opslag en deze kopiëren. Zie Beheerde identiteiten voor Azure-resources voor meer informatie over beheerde identiteiten voor Azure-resources

Zie Toegang tot toegang Azure Storage Azure Storage verifiëren met behulp van Azure Active Directory voor algemene informatie over Azure Active Directory. Volg deze stappen om beheerde identiteiten te gebruiken voor verificatie van Azure-resources:

1. Haal door het systeem toegewezen beheerde identiteitsgegevens op door de waarde te kopiëren van de door het systeem toegewezen object-id voor beheerde identiteit die samen met uw factory of Synapse-werkruimte is gegenereerd.

2. Verleen de beheerde identiteit toestemming in Azure Blob Storage. Zie Use the Azure Portal to assign an Azure role for access to blob and queue data (De rollen gebruiken om een Azure-rol toe te wijzen voor toegang tot blob- en wachtrijgegevens) voor meer informatieover de rollen.

   • Als bron verleent u in Toegangsbeheer (IAM) ten minste de rol Storage blobgegevenslezer.
   • Als sink verleent u in Toegangsbeheer (IAM) ten minste de rol Storage blobgegevensbijdrager.

Deze eigenschappen worden ondersteund voor een gekoppelde Azure Blob Storage-service:

Voorbeeld:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Door de gebruiker toegewezen beheerde identiteitsverificatie

Een data factory kan worden toegewezen met een of meer door de gebruiker toegewezen beheerde identiteiten. U kunt deze door de gebruiker toegewezen beheerde identiteit gebruiken voor blobopslagverificatie, waarmee u gegevens van of naar Blob Storage kunt openen en kopiëren. Zie Beheerde identiteiten voor Azure-resources voor meer informatie over beheerde identiteiten voor Azure-resources

Zie Toegang tot azure-Azure Storage verifiëren met behulp van Azure Active Directory voor algemene informatie Azure Active Directory. Volg deze stappen om verificatie van door de gebruiker toegewezen beheerde identiteit te gebruiken:

1. Maak een of meer door de gebruiker toegewezen beheerde identiteiten en verleen machtigingen in Azure Blob Storage. Zie Use the Azure Portal to assign an Azure role for access to blob and queue data (De rollen gebruiken om een Azure-rol toe te wijzen voor toegang tot blob- en wachtrijgegevens) voor meer informatieover de rollen.

   • Als bron verleent u in Toegangsbeheer (IAM) ten minste de rol Storage blobgegevenslezer.
   • Als sink verleent u in Toegangsbeheer (IAM) ten minste de rol Storage inzender voor blobgegevens.

2. Wijs een of meer door de gebruiker toegewezen beheerde identiteiten toe aan uw data factory en maak referenties voor elke door de gebruiker toegewezen beheerde identiteit.

Deze eigenschappen worden ondersteund voor een gekoppelde Azure Blob Storage-service:

Voorbeeld:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets.

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

• Avro-indeling
• Binaire indeling
• Tekstindeling met scheidingstekens
• Excel-indeling
• JSON-indeling
• ORC-indeling
• Parquet-indeling
• XML-indeling

De volgende eigenschappen worden ondersteund voor Azure Blob Storage onder location instellingen in een op indeling gebaseerde gegevensset:

Voorbeeld:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Eigenschappen van de kopieeractiviteit

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Blob Storage-bron en sink.

Blob-opslag als brontype

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

• Avro-indeling
• Binaire indeling
• Tekstindeling met scheidingstekens
• Excel-indeling
• JSON-indeling
• ORC-indeling
• Parquet-indeling
• XML-indeling

De volgende eigenschappen worden ondersteund voor Azure Blob-opslag onder instellingen in een op storeSettings indeling gebaseerde kopieerbron:

Voorbeeld:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Blob-opslag als sinktype

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

• Avro-indeling
• Binaire indeling
• Tekstindeling met scheidingstekens
• JSON-indeling
• ORC-indeling
• Parquet-indeling

De volgende eigenschappen worden ondersteund voor Azure Blob Storage onder instellingen in een op storeSettings indeling gebaseerde sink voor kopiëren:

Voorbeeld:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Voorbeelden van map- en bestandsfilters

In deze sectie wordt het resulterende gedrag van het mappad en de bestandsnaam met jokertekenfilters beschreven.

Voorbeelden van bestandslijst

In deze sectie wordt het resulterende gedrag beschreven van het gebruik van een bestandslijstpad in Copy-activiteit bron.

Stel dat u de volgende bronmapstructuur hebt en de bestanden vetgedrukt wilt kopiëren:

Enkele recursieve en copyBehavior-voorbeelden

In deze sectie wordt het resulterende gedrag van de kopieerbewerking voor verschillende combinaties van recursieve en copyBehavior-waarden beschreven.

Metagegevens behouden tijdens kopiëren

Wanneer u bestanden kopieert van Amazon S3, Azure Blob Storage of Azure Data Lake Storage Gen2 naar Azure Data Lake Storage Gen2 of Azure Blob Storage, kunt u ervoor kiezen om de metagegevens van het bestand samen met gegevens te behouden. Meer informatie kunt u lezen in Metagegevens behouden.

Eigenschappen van toewijzingsgegevensstromen

Wanneer u gegevens transformeert in toewijzingsgegevensstromen, kunt u bestanden lezen en schrijven vanuit Azure Blob Storage in de volgende indelingen:

• Avro
• Tekst met scheidingstekens
• Delta
• Excel
• JSON
• Parquet

Indelingsspecifieke instellingen bevinden zich in de documentatie voor die indeling. Zie Brontransformatie in toewijzingsgegevensstroom en Sink-transformatie in toewijzingsgegevensstroom voor meer informatie.

Brontransformatie

In brontransformatie kunt u lezen uit een container, map of afzonderlijk bestand in Azure Blob Storage. Gebruik het tabblad Bronopties om te beheren hoe de bestanden worden gelezen.

Paden met jokertekens: Als u een jokertekenpatroon gebruikt, krijgt de service de instructie om elke overeenkomende map en elk bestand in één brontransformatie door te lopen. Dit is een effectieve manier om meerdere bestanden binnen één stroom te verwerken. Voeg meerdere jokertekenpatronen toe met het plusteken dat wordt weergegeven wanneer u de muisaanwijzer over uw bestaande jokertekenpatroon beweegt.

Kies in de broncontainer een reeks bestanden die overeenkomen met een patroon. Alleen een container kan worden opgegeven in de gegevensset. Het pad met jokertekens moet daarom ook uw mappad uit de hoofdmap bevatten.

Voorbeelden van jokertekens:

• * Vertegenwoordigt een set tekens.

• ** Vertegenwoordigt recursieve map nesten.

• ? Vervangt één teken.

• [] Komt overeen met een of meer tekens tussen de haakjes.

• /data/sales/**/*.csv Haalt alle .csv onder /data/sales.

• /data/sales/20??/**/ Haalt alle bestanden in de 20e eeuw op.

• /data/sales/*/*/*.csv Haalt .csv bestanden op twee niveaus onder /data/sales.

• /data/sales/2004/*/12/[XY]1?.csv Haalt alle .csv in december 2004 op, beginnend met X of Y met een tweecijferig getal als voorvoegsel.

Pad naar de hoofdmap van de partitie: Als u gepartities in uw bestandsbron hebt met een indeling (bijvoorbeeld ), kunt u het hoogste niveau van die partitiemapstructuur toewijzen aan een kolomnaam in de gegevensstroom van uw key=value year=2019 gegevensstroom.

Stel eerst een jokerteken in om alle paden op te nemen die de gepartliceerde mappen zijn plus de leaf-bestanden die u wilt lezen.

Gebruik de instelling Hoofdpad partitie om te definiëren wat het hoogste niveau van de mapstructuur is. Wanneer u de inhoud van uw gegevens bekijkt via een voorbeeld van gegevens, ziet u dat de service de opgeloste partities toevoegt die in elk van uw mapniveaus zijn gevonden.

Lijst met bestanden: Dit is een bestandsset. Maak een tekstbestand met een lijst met relatieve padbestanden die moeten worden verwerkt. Wijs dit tekstbestand aan.

Kolom voor het opslaan van de bestandsnaam: Sla de naam van het bronbestand op in een kolom in uw gegevens. Voer hier een nieuwe kolomnaam in om de bestandsnaamreeks op te slaan.

Na voltooiing: Kies ervoor om niets te doen met het bronbestand nadat de gegevensstroom is uitgevoerd, verwijder het bronbestand of verplaats het bronbestand. De paden voor de verplaatsen zijn relatief.

Als u bronbestanden na verwerking naar een andere locatie wilt verplaatsen, selecteert u eerst Verplaatsen voor bestandsbewerking. Stel vervolgens de map 'van' in. Als u geen jokertekens gebruikt voor uw pad, is de instelling 'van' dezelfde map als de bronmap.

Als u een bronpad met jokertekens hebt, ziet uw syntaxis er als volgende uit:

/data/sales/20??/**/*.csv

U kunt 'van' opgeven als:

/data/sales

En u kunt 'aan' opgeven als:

/backup/priorSales

In dit geval worden alle bestanden die zijn opgeslagen onder /data/sales verplaatst naar /backup/priorSales .

Filteren op laatst gewijzigd: U kunt filteren welke bestanden u verwerkt door een datumbereik op te geven van wanneer ze voor het laatst zijn gewijzigd. Alle datums/tijden zijn in UTC.

Sinkeigenschappen

In de sinktransformatie kunt u schrijven naar een container of een map in Azure Blob Storage. Gebruik het Instellingen om te beheren hoe de bestanden worden geschreven.

De map verwijderen: Hiermee bepaalt u of de doelmap wordt geweerd voordat de gegevens worden geschreven.

Bestandsnaamoptie: Bepaalt hoe de doelbestanden worden genoemd in de doelmap. De bestandsnaamopties zijn:

• Standaardinstelling: Spark toestaan om bestanden een naam te geven op basis van part-standaardwaarden.
• Patroon: voer een patroon in dat de uitvoerbestanden per partitie opsemuleert. Maakt bijvoorbeeld loans[n].csv , , , en loans1.csv loans2.csv meer.
• Per partitie: voer één bestandsnaam per partitie in.
• Als gegevens in kolom: stel het uitvoerbestand in op de waarde van een kolom. Het pad is relatief ten opzichte van de gegevenssetcontainer, niet de doelmap. Als u een mappad in uw gegevensset hebt, wordt dit overgeslagen.
• Uitvoer naar één bestand: combineer de gepart partitioneerde uitvoerbestanden in één benoemd bestand. Het pad is relatief ten opzichte van de map van de gegevensset. De samenvoegbewerking kan mogelijk mislukken op basis van de knooppuntgrootte. Deze optie wordt niet aanbevolen voor grote gegevenssets.

Alles prijsopgave: Hiermee bepaalt u of alle waarden tussen aanhalingstekens moeten worden plaatsen.

Eigenschappen van opzoekactiviteit

Zie Opzoekactiviteit voor meer informatie over de eigenschappen.

Eigenschappen van GetMetadata-activiteit

Raadpleeg GetMetadata-activiteitvoor meer informatie over de eigenschappen.

Activiteitseigenschappen verwijderen

Zie Activiteit verwijderen voor meer informatie over de eigenschappen.

Verouderde modellen

Verouderd gegevenssetmodel

Voorbeeld:

{
    "name": "AzureBlobDataset",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "<Azure Blob storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "mycontainer/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Verouderd bronmodel voor de Copy-activiteit

Voorbeeld:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Blob input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Verouderd sinkmodel voor de Copy-activiteit

Voorbeeld:

"activities":[
    {
        "name": "CopyToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Blob output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BlobSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Volgende stappen

Zie Ondersteunde gegevensopslag voor een lijst met gegevensopslag die door de Copy-activiteit worden ondersteund als bronnen en sinks.