Naslaginformatie voor JSON-scripts in Azure Data Factory

Notitie

Dit artikel is van toepassing op versie 1 van Data Factory.

Belangrijk

De ondersteuning voor Azure Machine Learning-studio (klassiek) eindigt op 31 augustus 2024. U wordt aangeraden om vóór die datum over te stappen naar Azure Machine Learning.

Vanaf 1 december 2021 kunt u geen nieuwe Machine Learning Studio-resources (klassiek) maken (werkruimte- en webserviceplan). Tot en met 31 augustus 2024 kunt u de bestaande Machine Learning Studio-experimenten en webservices blijven gebruiken.

De documentatie van ML-studio (klassiek) wordt buiten gebruik gesteld en wordt in de toekomst mogelijk niet meer bijgewerkt.

Dit artikel bevat JSON-schema's en voorbeelden voor het definiëren van Azure Data Factory-entiteiten (pijplijn, activiteit, gegevensset en gekoppelde service).

Notitie

In dit artikel wordt de Azure Az PowerShell-module gebruikt. Dit is de aanbevolen PowerShell-module voor interactie met Azure. Raadpleeg Azure PowerShell installeren om aan de slag te gaan met de Az PowerShell-module. Raadpleeg Azure PowerShell migreren van AzureRM naar Az om te leren hoe u naar de Azure PowerShell-module migreert.

Pijplijn

De structuur op hoog niveau voor een pijplijndefinitie is als volgt:

{
  "name": "SamplePipeline",
  "properties": {
    "description": "Describe what pipeline does",
    "activities": [
    ],
    "start": "2016-07-12T00:00:00",
    "end": "2016-07-13T00:00:00"
  }
}

In de volgende tabel worden de eigenschappen in de JSON-definitie van de pijplijn beschreven:

Eigenschap Beschrijving Vereist
naam Naam van de pijplijn. Geef een naam op die de actie vertegenwoordigt die door de activiteit of pijplijn is geconfigureerd
  • Maximum aantal tekens: 260
  • Moet beginnen met een letter, cijfer of onderstrepingsteken (_)
  • De volgende tekens zijn niet toegestaan: ".", "+", "?", "</", "",>","*",&",":"\"
Ja
beschrijving Tekst waarin wordt beschreven waarvoor de activiteit of pijplijn wordt gebruikt Nee
activities Bevat een lijst met activiteiten. Ja
starten Begindatum voor de pijplijn. Moet de ISO-indeling hebben. Bijvoorbeeld: 2014-10-14T16:32:41.

Het is mogelijk om een lokale tijd op te geven, bijvoorbeeld een EST-tijd. Hier volgt een voorbeeld: 2016-02-27T06:00:00**-05:00, dat is 6:00 UUR EST.

De begin- en eindeigenschappen geven samen de actieve periode voor de pijplijn op. Uitvoersegmenten worden alleen geproduceerd met in deze actieve periode.
Nee

Als u een waarde opgeeft voor de eindeigenschap, moet u de waarde voor de begineigenschap opgeven.

De begin- en eindtijden kunnen beide leeg zijn om een pijplijn te maken. U moet beide waarden opgeven om een actieve periode in te stellen voordat de pijplijn moet worden uitgevoerd. Als u geen begin- en eindtijden opgeeft bij het maken van een pijplijn, kunt u deze later instellen met behulp van de Set-AzDataFactoryPipelineActivePeriod cmdlet.
beëindigen Einddatum voor de pijplijn. Indien opgegeven moet de ISO-indeling hebben. Bijvoorbeeld: 2014-10-14T17:32:41

Het is mogelijk om een lokale tijd op te geven, bijvoorbeeld een EST-tijd. Hier volgt een voorbeeld: 2016-02-27T06:00:00**-05:00, dat is 6:00 UUR EST.

Als u de pijplijn voor onbepaalde tijd wilt uitvoeren, geeft u 9999-09-09 op als waarde voor de eigenschap end.
Nee

Als u een waarde opgeeft voor de begineigenschap, moet u de waarde voor de eindeigenschap opgeven.

Zie notities voor de begineigenschap .
isPaused Als deze optie is ingesteld op waar, wordt de pijplijn niet uitgevoerd. Standaardwaarde = onwaar. U kunt deze eigenschap gebruiken om deze eigenschap in of uit te schakelen. Nee
pipelineMode De methode voor het plannen van uitvoeringen voor de pijplijn. Toegestane waarden zijn: gepland (standaard), eenmalig.

'Gepland' geeft aan dat de pijplijn wordt uitgevoerd met een opgegeven tijdsinterval volgens de actieve periode (begin- en eindtijd). 'Onetime' geeft aan dat de pijplijn slechts één keer wordt uitgevoerd. Eenmalige pijplijnen die eenmaal zijn gemaakt, kunnen momenteel niet worden gewijzigd/bijgewerkt. Zie Onetime-pijplijn voor meer informatie over eenmalige instelling.
Nee
expirationTime De tijdsduur na het maken waarvan de pijplijn geldig is en moet worden ingericht. Als de pijplijn geen actieve, mislukte of in behandeling zijnde uitvoeringen heeft, wordt de pijplijn automatisch verwijderd zodra deze de verlooptijd heeft bereikt. Nee

Activiteit

De structuur op hoog niveau voor een activiteit binnen een pijplijndefinitie (activiteitenelement) is als volgt:

{
    "name": "ActivityName",
    "description": "description",
    "type": "<ActivityType>",
    "inputs":  "[]",
    "outputs":  "[]",
    "linkedServiceName": "MyLinkedService",
    "typeProperties":
    {

    },
    "policy":
    {
    },
    "scheduler":
    {
    }
}

In de volgende tabel worden de eigenschappen in de JSON-definitie van de activiteit beschreven:

Tag Beschrijving Vereist
naam De naam van de activiteit. Geef een naam op die de actie aangeeft die de activiteit moet uitvoeren
  • Maximum aantal tekens: 260
  • Moet beginnen met een letter, cijfer of onderstrepingsteken (_)
  • De volgende tekens zijn niet toegestaan: ".", "+", "?", "</", "",>","*",&",":"\"
Ja
beschrijving Tekst waarin wordt beschreven waarvoor de activiteit wordt gebruikt. Nee
type Hiermee geeft u het type activiteit op. Zie de secties GEGEVENSARCHIEVEN en ACTIVITEITEN VOOR GEGEVENSTRANSFORMATIE voor verschillende soorten activiteiten. Ja
Ingangen Invoertabellen die door de activiteit worden gebruikt

// one input table
"inputs": [ { "name": "inputtable1" } ],

// two input tables
"inputs": [ { "name": "inputtable1" }, { "name": "inputtable2" } ],
Nee voor de activiteiten HDInsightStreaming en SqlServerStoredProcedure

Ja voor alle anderen
Uitgangen Uitvoertabellen die door de activiteit worden gebruikt.

// one output table
"outputs": [ { "name": “outputtable1” } ],

//two output tables
"outputs": [ { "name": “outputtable1” }, { "name": “outputtable2” } ],
Ja
linkedServiceName De naam van de gekoppelde service die door de activiteit wordt gebruikt.

Een activiteit kan vereisen dat u de gekoppelde service opgeeft die is gekoppeld aan de vereiste rekenomgeving.
Ja voor HDInsight-activiteiten, ML Studio-activiteiten (klassiek) en Opgeslagen procedureactiviteit.

Nee voor alle andere
typeProperties Eigenschappen in de sectie typeProperties zijn afhankelijk van het type activiteit. Nee
policy Beleidsregels die van invloed zijn op het runtimegedrag van de activiteit. Als dit niet is opgegeven, worden standaardbeleidsregels gebruikt. Nee
scheduler De eigenschap scheduler wordt gebruikt om de gewenste planning voor de activiteit te definiëren. De subproperties zijn hetzelfde als die in de beschikbaarheidseigenschap in een gegevensset. Nee

Beleidsregels

Beleidsregels zijn van invloed op het uitvoeringsgedrag van een activiteit, met name wanneer het segment van een tabel wordt verwerkt. De volgende tabel bevat de details.

Eigenschap Toegestane waarden Standaardwaarde Beschrijving
Concurrency Geheel getal

Maximumwaarde: 10
1 Aantal gelijktijdige uitvoeringen van de activiteit.

Het bepaalt het aantal parallelle activiteituitvoeringen dat op verschillende segmenten kan plaatsvinden. Als een activiteit bijvoorbeeld een grote set beschikbare gegevens moet doorlopen, wordt de gegevensverwerking sneller verwerkt met een grotere gelijktijdigheidswaarde.
executionPriorityOrder Nieuwstefirst

Oudstefirst
Oudstefirst Bepaalt de volgorde van gegevenssegmenten die worden verwerkt.

Als u bijvoorbeeld twee segmenten hebt (één om 14:00 uur en een om 17:00 uur), en beide zijn in behandeling. Als u de executionPriorityOrder instelt op NewestFirst, wordt het segment om 17:00 uur eerst verwerkt. Op dezelfde manier als u de executionPriorityORder instelt op OudsteFIrst, wordt het segment om 14:00 uur verwerkt.
retry Geheel getal

Maximumwaarde kan 10 zijn
0 Het aantal nieuwe pogingen voordat de gegevensverwerking voor het segment wordt gemarkeerd als Fout. Uitvoering van activiteit voor een gegevenssegment wordt opnieuw geprobeerd tot het opgegeven aantal nieuwe pogingen. De nieuwe poging wordt zo snel mogelijk na de fout uitgevoerd.
timeout TimeSpan 00:00:00 Time-out voor de activiteit. Voorbeeld: 00:10:00 (impliceert time-out 10 minuten)

Als een waarde niet is opgegeven of 0 is, is de time-out oneindig.

Als de verwerkingstijd voor een segment de time-outwaarde overschrijdt, wordt deze geannuleerd en probeert het systeem de verwerking opnieuw uit te voeren. Het aantal nieuwe pogingen is afhankelijk van de eigenschap voor opnieuw proberen. Wanneer er een time-out optreedt, wordt de status ingesteld op TimedOut.
Vertraging TimeSpan 00:00:00 Geef de vertraging op voordat de gegevensverwerking van het segment wordt gestart.

De uitvoering van activiteit voor een gegevenssegment wordt gestart nadat de vertraging de verwachte uitvoeringstijd heeft verstreken.

Voorbeeld: 00:10:00 (impliceert vertraging van 10 minuten)
longRetry Geheel getal

Maximumwaarde: 10
1 Het aantal pogingen voor lange nieuwe pogingen voordat de slice-uitvoering is mislukt.

longRetry-pogingen worden verdeeld door longRetryInterval. Als u dus een tijd tussen nieuwe pogingen wilt opgeven, gebruikt u longRetry. Als zowel Opnieuw proberen als longRetry zijn opgegeven, bevat elke longRetry-poging pogingen pogingen en het maximum aantal pogingen is Opnieuw proberen * longRetry.

Als we bijvoorbeeld de volgende instellingen hebben in het activiteitsbeleid:
Opnieuw proberen: 3
longRetry: 2
longRetryInterval: 01:00:00

Stel dat er slechts één segment is om uit te voeren (status wacht) en dat de uitvoering van de activiteit elke keer mislukt. In eerste instantie zijn er drie opeenvolgende uitvoeringspogingen. Na elke poging wordt de segmentstatus opnieuw geprobeerd. Nadat de eerste drie pogingen zijn verstreken, is de segmentstatus LongRetry.

Na een uur (dat wil gezegd, de waarde van longRetryInteval) zou er een andere set van drie opeenvolgende uitvoeringspogingen zijn. Daarna wordt de segmentstatus mislukt en worden er geen nieuwe pogingen meer geprobeerd. Daarom werden er in totaal 6 pogingen gedaan.

Als een uitvoering slaagt, is de slicestatus Gereed en worden er geen nieuwe pogingen meer geprobeerd.

longRetry kan worden gebruikt in situaties waarin afhankelijke gegevens op niet-deterministische tijdstippen binnenkomen of de algehele omgeving slap is waaronder gegevensverwerking plaatsvindt. In dergelijke gevallen kan het uitvoeren van nieuwe pogingen na elkaar niet helpen en dit doen na een interval van tijd resulteert in de gewenste uitvoer.

Let op: stel geen hoge waarden in voor longRetry of longRetryInterval. Normaal gesproken impliceren hogere waarden andere systemische problemen.
longRetryInterval TimeSpan 00:00:00 De vertraging tussen pogingen met lange nieuwe pogingen

sectie typeProperties

De sectie typeProperties verschilt voor elke activiteit. Transformatieactiviteiten hebben alleen de typeeigenschappen. Zie de sectie ACTIVITEITEN VOOR GEGEVENSTRANSFORMATIE in dit artikel voor JSON-voorbeelden waarmee transformatieactiviteiten in een pijplijn worden gedefinieerd.

Kopieeractiviteit heeft twee subsecties in de sectie typeProperties: bron en sink. Zie de sectie DATA STORES in dit artikel voor JSON-voorbeelden die laten zien hoe u een gegevensarchief als bron en/of sink gebruikt.

Voorbeeld van kopieerpijplijn

De volgende voorbeeldpijplijn bevat een activiteit van het type Copy in de sectie activities. In dit voorbeeld kopieert de kopieeractiviteit gegevens van een Azure Blob-opslag naar Azure SQL Database.

{
  "name": "CopyPipeline",
  "properties": {
    "description": "Copy data from a blob to Azure SQL table",
    "activities": [
      {
        "name": "CopyFromBlobToSQL",
        "type": "Copy",
        "inputs": [
          {
            "name": "InputDataset"
          }
        ],
        "outputs": [
          {
            "name": "OutputDataset"
          }
        ],
        "typeProperties": {
          "source": {
            "type": "BlobSource"
          },
          "sink": {
            "type": "SqlSink",
            "writeBatchSize": 10000,
            "writeBatchTimeout": "60:00:00"
          }
        },
        "Policy": {
          "concurrency": 1,
          "executionPriorityOrder": "NewestFirst",
          "retry": 0,
          "timeout": "01:00:00"
        }
      }
    ],
    "start": "2016-07-12T00:00:00",
    "end": "2016-07-13T00:00:00"
  }
}

Houd rekening met de volgende punten:

  • In het gedeelte Activiteiten is er slechts één activiteit waarvan type is ingesteld op Copy.
  • De invoer voor de activiteit is ingesteld op InputDataset en de uitvoer voor de activiteit is ingesteld op OutputDataset.
  • In het gedeelte typeProperties is BlobSource opgegeven als het brontype en SqlSink als het sink-type.

Zie de sectie DATA STORES in dit artikel voor JSON-voorbeelden die laten zien hoe u een gegevensarchief als bron en/of sink gebruikt.

Zie Zelfstudie: Gegevens kopiëren van Blob Storage naar SQL Database voor een volledig overzicht van het maken van deze pijplijn.

Voorbeeld van pijplijn voor transformatie

De volgende voorbeeldpijplijn bevat een activiteit van het type HDInsightHive in de sectie activities. In dit voorbeeld transformeert de HDInsight Hive-activiteit gegevens uit een Azure-blobopslag door een Hive-scriptbestand uit te voeren op een Azure HDInsight Hadoop-cluster.

{
    "name": "TransformPipeline",
    "properties": {
        "description": "My first Azure Data Factory pipeline",
        "activities": [
            {
                "type": "HDInsightHive",
                "typeProperties": {
                    "scriptPath": "adfgetstarted/script/partitionweblogs.hql",
                    "scriptLinkedService": "AzureStorageLinkedService",
                    "defines": {
                        "inputtable": "wasb://adfgetstarted@<storageaccountname>.blob.core.windows.net/inputdata",
                        "partitionedtable": "wasb://adfgetstarted@<storageaccountname>.blob.core.windows.net/partitioneddata"
                    }
                },
                "inputs": [
                    {
                        "name": "AzureBlobInput"
                    }
                ],
                "outputs": [
                    {
                        "name": "AzureBlobOutput"
                    }
                ],
                "policy": {
                    "concurrency": 1,
                    "retry": 3
                },
                "scheduler": {
                    "frequency": "Month",
                    "interval": 1
                },
                "name": "RunSampleHiveActivity",
                "linkedServiceName": "HDInsightOnDemandLinkedService"
            }
        ],
        "start": "2016-04-01T00:00:00",
        "end": "2016-04-02T00:00:00",
        "isPaused": false
    }
}

Houd rekening met de volgende punten:

  • In het gedeelte activities is er slechts één activiteit waarvan type is ingesteld op HDInsightHive.
  • Het Hive-scriptbestand partitionweblogs.hql wordt opgeslagen in het Azure-opslagaccount (opgegeven door de scriptLinkedService met de naam AzureStorageLinkedService) en in de map script van de container adfgetstarted.
  • De sectie definieert wordt gebruikt om de runtime-instellingen op te geven die worden doorgegeven aan het Hive-script als Hive-configuratiewaarden (bijvoorbeeld ${hiveconf:inputtable}${hiveconf:partitionedtable}).

Zie de sectie ACTIVITEITEN VOOR GEGEVENSTRANSFORMATIE in dit artikel voor JSON-voorbeelden waarmee transformatieactiviteiten in een pijplijn worden gedefinieerd.

Zie Zelfstudie: Uw eerste pijplijn bouwen om gegevens te verwerken met behulp van Hadoop-cluster voor een volledig overzicht van het maken van deze pijplijn.

Gekoppelde service

De structuur op hoog niveau voor een gekoppelde servicedefinitie is als volgt:

{
    "name": "<name of the linked service>",
    "properties": {
        "type": "<type of the linked service>",
        "typeProperties": {
        }
    }
}

In de volgende tabel worden de eigenschappen in de JSON-definitie van de activiteit beschreven:

Eigenschap Beschrijving Vereist
naam Naam van de gekoppelde service. Ja
eigenschappen - type Type van de gekoppelde service. Bijvoorbeeld: Azure Storage, Azure SQL Database.
typeProperties De sectie typeProperties bevat elementen die verschillen voor elke gegevensopslag of rekenomgeving. Zie de sectie Gegevensarchieven voor alle gekoppelde services en rekenomgevingen voor alle gekoppelde rekenservices

Gegevensset

Een gegevensset in Azure Data Factory wordt als volgt gedefinieerd:

{
    "name": "<name of dataset>",
    "properties": {
        "type": "<type of dataset: AzureBlob, AzureSql etc...>",
        "external": <boolean flag to indicate external data. only for input datasets>,
        "linkedServiceName": "<Name of the linked service that refers to a data store.>",
        "structure": [
            {
                "name": "<Name of the column>",
                "type": "<Name of the type>"
            }
        ],
        "typeProperties": {
            "<type specific property>": "<value>",
            "<type specific property 2>": "<value 2>",
        },
        "availability": {
            "frequency": "<Specifies the time unit for data slice production. Supported frequency: Minute, Hour, Day, Week, Month>",
            "interval": "<Specifies the interval within the defined frequency. For example, frequency set to 'Hour' and interval set to 1 indicates that new data slices should be produced hourly>"
        },
        "policy":
        {
        }
    }
}

In de volgende tabel worden eigenschappen in de bovenstaande JSON beschreven:

Eigenschap Beschrijving Vereist Standaard
naam Naam van de gegevensset. Zie Azure Data Factory - Naamgevingsregels voor naamgevingsregels. Ja NA
type Type van de gegevensset. Geef een van de typen op die worden ondersteund door Azure Data Factory (bijvoorbeeld: AzureBlob, AzureSqlTable). Zie de sectie DATA STORES voor alle gegevensarchieven en gegevenssettypen die worden ondersteund door Data Factory.
Structuur Schema van de gegevensset. Het bevat kolommen, hun typen, enzovoort. Nee NA
typeProperties Eigenschappen die overeenkomen met het geselecteerde type. Zie de sectie DATA STORES voor ondersteunde typen en de bijbehorende eigenschappen. Ja NA
external Booleaanse vlag om op te geven of een gegevensset expliciet wordt geproduceerd door een data factory-pijplijn of niet. Nee onjuist
availability Definieert het verwerkingsvenster of het segmenteringsmodel voor de productie van de gegevensset. Zie het artikel Planning en uitvoering voor meer informatie over het segmenteringsmodel voor gegevenssets. Ja NA
policy Definieert de criteria of de voorwaarde waaraan de gegevenssetsegmenten moeten voldoen.

Zie de sectie Gegevenssetbeleid voor meer informatie.
Nee NA

Elke kolom in de structuursectie bevat de volgende eigenschappen:

Eigenschap Beschrijving Vereist
naam Naam van de kolom. Ja
type Gegevenstype van de kolom. Nee
Cultuur Op .NET gebaseerde cultuur die moet worden gebruikt wanneer het type is opgegeven en .NET-type Datetime of Datetimeoffset. De standaardinstelling is en-us. Nee
indeling Opmaaktekenreeks die moet worden gebruikt wanneer het type is opgegeven en .NET-type Datetime of Datetimeoffset. Nee

In het volgende voorbeeld heeft de gegevensset drie kolommen slicetimestampprojectnameen pageviews zijn ze van het type: Tekenreeks, tekenreeks en decimaal.

structure:
[
    { "name": "slicetimestamp", "type": "String"},
    { "name": "projectname", "type": "String"},
    { "name": "pageviews", "type": "Decimal"}
]

In de volgende tabel worden de eigenschappen beschreven die u kunt gebruiken in de sectie Beschikbaarheid :

Eigenschap Beschrijving Vereist Standaard
frequency Hiermee geeft u de tijdseenheid voor de productie van gegevenssetsegmenten op.

Ondersteunde frequentie: Minuut, Uur, Dag, Week, Maand
Ja NA
interval Hiermee geeft u een vermenigvuldiger voor frequentie

"Frequency x interval" bepaalt hoe vaak het segment wordt geproduceerd.

Als u de gegevensset per uur wilt segmenteren, stelt u Frequentie in op Uur en interval op 1.

Opmerking: Als u Frequentie opgeeft als minuut, raden we u aan het interval in te stellen op niet minder dan 15
Ja NA
stijl Hiermee geeft u op of het segment moet worden geproduceerd aan het begin/einde van het interval.
  • StartOfInterval
  • EndOfInterval


Als Frequentie is ingesteld op Maand en stijl is ingesteld op EndOfInterval, wordt het segment geproduceerd op de laatste dag van de maand. Als de stijl is ingesteld op StartOfInterval, wordt het segment geproduceerd op de eerste dag van de maand.

Als Frequentie is ingesteld op Dag en stijl is ingesteld op EndOfInterval, wordt het segment geproduceerd in het laatste uur van de dag.

Als Frequency is ingesteld op Hour en de stijl is ingesteld op EndOfInterval, wordt het segment aan het einde van het uur geproduceerd. Bijvoorbeeld, voor een segment voor de periode 13:00 tot 23:00 uur, wordt het segment om 14:00 uur geproduceerd.
Nee EndOfInterval
anchorDateTime Hiermee definieert u de absolute positie in de tijd die door scheduler wordt gebruikt om segmentgrenzen van gegevenssets te berekenen.

Opmerking: Als de AnchorDateTime datumonderdelen bevat die gedetailleerder zijn dan de frequentie, worden de gedetailleerdere onderdelen genegeerd.

Als het interval bijvoorbeeld elk uur is (frequentie: uur en interval: 1) en de AnchorDateTimeminuten en seconden bevat, worden de minuten en seconden van de AnchorDateTime genegeerd.
Nee 01/01/0001
offset De tijdsduur waarop het begin en einde van alle gegevenssetsegmenten worden verschoven.

Opmerking: Als zowel anchorDateTime als offset zijn opgegeven, is het resultaat de gecombineerde dienst.
Nee NA

In de volgende beschikbaarheidssectie wordt aangegeven dat de uitvoergegevensset elk uur (of) per uur beschikbaar is:

"availability":
{
    "frequency": "Hour",
    "interval": 1
}

De beleidssectie in de definitie van de gegevensset definieert de criteria of de voorwaarde waaraan de gegevenssetsegmenten moeten voldoen.

Policy Name Beschrijving Toegepast op Vereist Standaard
minimumSizeMB Valideert of de gegevens in een Azure-blob voldoen aan de minimale groottevereisten (in megabytes). Azure Blob Nee NA
minimumRows Valideert of de gegevens in Azure SQL Database of een Azure-tabel het minimum aantal rijen bevatten.
  • Azure SQL Database
  • Azure Table
Nee NA

Voorbeeld:

"policy":

{
    "validation":
    {
        "minimumSizeMB": 10.0
    }
}

Tenzij een gegevensset wordt geproduceerd door Azure Data Factory, moet deze worden gemarkeerd als extern. Deze instelling is over het algemeen van toepassing op de invoer van de eerste activiteit in een pijplijn, tenzij activiteit of pijplijnketen wordt gebruikt.

Naam Beschrijving Vereist Standaardwaarde
dataDelay Tijd om de controle op de beschikbaarheid van de externe gegevens voor het opgegeven segment te vertragen. Als de gegevens bijvoorbeeld elk uur beschikbaar zijn, kan de controle om te zien of de externe gegevens beschikbaar zijn en het bijbehorende segment gereed is, worden vertraagd met behulp van dataDelay.

Alleen van toepassing op de huidige tijd. Als dit bijvoorbeeld 13:00 uur is en deze waarde 10 minuten is, begint de validatie om 13:10 uur.

Deze instelling heeft geen invloed op segmenten in het verleden (segmenten met Slice End Time + dataDelay < Now) worden zonder vertraging verwerkt.

Tijd die groter is dan 23:59 uur moet worden opgegeven met behulp van de day.hours:minutes:seconds notatie. Als u bijvoorbeeld 24 uur wilt opgeven, gebruikt u niet 24:00:00; Gebruik in plaats daarvan 1.00:00:00. Als u 24:00:00 gebruikt, wordt het behandeld als 24 dagen (24.00:00:00). Geef 1 dag en 4 uur 1:04:00:00 op.
Nee 0
retryInterval De wachttijd tussen een fout en de volgende poging voor opnieuw proberen. Als een poging mislukt, is de volgende poging na retryInterval.

Als het nu om 13:00 uur is, beginnen we met de eerste poging. Als de duur voor het voltooien van de eerste validatiecontrole 1 minuut is en de bewerking is mislukt, is de volgende poging om 1:00 + 1 min (duur) + 1 min (interval voor opnieuw proberen) = 1:02 PM.

Voor segmenten in het verleden is er geen vertraging. De nieuwe poging gebeurt onmiddellijk.
Nee 00:01:00 (1 minuut)
retryTimeout De time-out voor elke nieuwe poging.

Als deze eigenschap is ingesteld op 10 minuten, moet de validatie binnen 10 minuten worden voltooid. Als het langer duurt dan 10 minuten om de validatie uit te voeren, treedt er een time-out op voor het opnieuw proberen.

Als er een time-out optreedt voor alle pogingen voor de validatie, wordt het segment gemarkeerd als TimedOut.
Nee 00:10:00 (10 minuten)
maximumRetry Aantal keren om te controleren op de beschikbaarheid van de externe gegevens. De toegestane maximumwaarde is 10. Nee 3

GEGEVENSARCHIEVEN

De sectie Gekoppelde service bevat beschrijvingen voor JSON-elementen die gemeenschappelijk zijn voor alle typen gekoppelde services. Deze sectie bevat informatie over JSON-elementen die specifiek zijn voor elk gegevensarchief.

De sectie Gegevensset bevat beschrijvingen voor JSON-elementen die gemeenschappelijk zijn voor alle typen gegevenssets. Deze sectie bevat informatie over JSON-elementen die specifiek zijn voor elk gegevensarchief.

De sectie Activiteit bevat beschrijvingen voor JSON-elementen die gemeenschappelijk zijn voor alle typen activiteiten. Deze sectie bevat informatie over JSON-elementen die specifiek zijn voor elk gegevensarchief wanneer deze wordt gebruikt als bron/sink in een kopieeractiviteit.

Klik op de koppeling voor de winkel waarin u geïnteresseerd bent om de JSON-schema's voor de gekoppelde service, gegevensset en de bron/sink voor de kopieeractiviteit te zien.

Categorie Gegevensarchief
Azure Azure Blob Storage
  Azure Data Lake Store
  Azure Cosmos DB
  Azure SQL Database
  Azure Synapse Analytics
  Azure Cognitive Search
  Azure Table storage
Databases Amazon Redshift
  IBM DB2
  MySQL
  Oracle
  PostgreSQL
  SAP Business Warehouse
  SAP HANA
  SQL Server
  Sybase
  Teradata
NoSQL Cassandra
  MongoDB
File Amazon S3
  Bestandssysteem
  FTP
  HDFS
  SFTP
Overige HTTP
  OData
  ODBC
  Salesforce
  Webtabel

Azure Blob Storage

Gekoppelde service

Er zijn twee typen gekoppelde services: een gekoppelde Azure Storage-service en een gekoppelde Azure Storage SAS-service.

Een gekoppelde Azure Storage-service

Als u uw Azure-opslagaccount wilt koppelen aan een data factory met behulp van de accountsleutel, maakt u een gekoppelde Azure Storage-service. Als u een gekoppelde Azure Storage-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureStorage. Vervolgens kunt u de volgende eigenschappen opgeven in de sectie typeProperties :

Eigenschap Beschrijving Vereist
connectionString Geef de gegevens op die nodig zijn om verbinding te maken met Azure Storage voor de connectionString-eigenschap. Ja
Voorbeeld
{
    "name": "StorageLinkedService",
    "properties": {
        "type": "AzureStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        }
    }
}

Gekoppelde Azure Storage SAS-service

Met de gekoppelde Azure Storage SAS-service kunt u een Azure Storage-account koppelen aan een Azure-data factory met behulp van een Shared Access Signature (SAS). Het biedt de data factory met beperkte/tijdgebonden toegang tot alle/specifieke resources (blob/container) in de opslag. Als u uw Azure-opslagaccount wilt koppelen aan een data factory met behulp van Shared Access Signature, maakt u een gekoppelde Azure Storage SAS-service. Als u een gekoppelde Azure Storage SAS-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureStorageSas. Vervolgens kunt u de volgende eigenschappen opgeven in de sectie typeProperties :

Eigenschap Beschrijving Vereist
sasUri Geef Shared Access Signature-URI op voor de Azure Storage-resources, zoals blob, container of tabel. Ja
Voorbeeld
{
    "name": "StorageSasLinkedService",
    "properties": {
        "type": "AzureStorageSas",
        "typeProperties": {
            "sasUri": "<storageUri>?<sasToken>"
        }
    }
}

Zie het artikel over de Azure Blob Storage-connector voor meer informatie over deze gekoppelde services.

Gegevensset

Als u een Azure Blob-gegevensset wilt definiëren, stelt u het type van de gegevensset in op AzureBlob. Geef vervolgens de volgende azure Blob-specifieke eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
folderPath Pad naar de container en map in de blobopslag. Voorbeeld: myblobcontainer\myblobfolder\ Ja
fileName Naam van de blob. fileName is optioneel en hoofdlettergevoelig.

Als u een bestandsnaam opgeeft, werkt de activiteit (inclusief Kopiëren) op de specifieke blob.

Als fileName niet is opgegeven, bevat Copy alle Blobs in de folderPath voor invoergegevensset.

Als fileName niet is opgegeven voor een uitvoergegevensset, heeft de naam van het gegenereerde bestand de volgende indeling: Data.<Guid>.txt (bijvoorbeeld: : Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt
Nee
partitionedBy partitionedBy is een optionele eigenschap. U kunt deze gebruiken om een dynamisch folderPath en bestandsnaam op te geven voor tijdreeksgegevens. FolderPath kan bijvoorbeeld worden geparameteriseerd voor elk uur aan gegevens. Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate. Ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee

Voorbeeld

{
    "name": "AzureBlobInput",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": "AzureStorageLinkedService",
        "typeProperties": {
            "fileName": "input.log",
            "folderPath": "adfgetstarted/inputdata",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ","
            }
        },
        "availability": {
            "frequency": "Month",
            "interval": 1
        },
        "external": true,
        "policy": {}
    }
}

Zie het artikel over de Azure Blob-connector voor meer informatie.

BlobSource in kopieeractiviteit

Als u gegevens kopieert uit een Azure Blob Storage, stelt u het brontype van de kopieeractiviteit in op BlobSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Geeft aan of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Waar (standaardwaarde), Onwaar Nee

Voorbeeld: BlobSource

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoSQL",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": "AzureSqlOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "BlobSource"
                },
                "sink": {
                    "type": "SqlSink"
                }
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

BlobSink in kopieeractiviteit

Als u gegevens naar een Azure Blob Storage kopieert, stelt u het sinktype van de kopieeractiviteit in op BlobSink en geeft u de volgende eigenschappen op in de sectie Sink :

Eigenschap Beschrijving Toegestane waarden Vereist
copyBehavior Definieert het kopieergedrag wanneer de bron BlobSource of Bestandssysteem is. PreserveHierarchy: behoudt de bestandshiërarchie in de doelmap. Het relatieve pad van het bronbestand naar de bronmap is identiek aan het relatieve pad van het doelbestand naar de doelmap.

FlattenHierarchy: alle bestanden uit de bronmap bevinden zich op het eerste niveau van de doelmap. De doelbestanden hebben automatisch gegenereerde naam.

MergeFiles (standaard): voegt alle bestanden uit de bronmap samen naar één bestand. Als de bestandsnaam/blobnaam is opgegeven, is de naam van het samengevoegde bestand de opgegeven naam; anders zou automatisch gegenereerde bestandsnaam zijn.
Nee

Voorbeeld: BlobSink

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "AzureSQLtoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureSQLInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "SqlSource",
                    "SqlReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd HH:mm}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd HH:mm}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Blob-connector voor meer informatie.

Azure Data Lake Store

Gekoppelde service

Als u een gekoppelde Azure Data Lake Store-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureDataLakeStore en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op: AzureDataLakeStore Ja
dataLakeStoreUri Geef informatie op over het Azure Data Lake Store-account. Deze heeft de volgende indeling: https://[accountname].azuredatalakestore.net/webhdfs/v1 of adl://[accountname].azuredatalakestore.net/. Ja
subscriptionId Azure-abonnements-id waartoe Data Lake Store behoort. Vereist voor sink
resourceGroupName Naam van Azure-resourcegroep waartoe Data Lake Store behoort. Vereist voor sink
servicePrincipalId Geef de client-id van de toepassing op. Ja (voor verificatie van service-principal)
servicePrincipalKey Geef de sleutel van de toepassing op. Ja (voor verificatie van service-principal)
tenant Geef de tenantgegevens (domeinnaam of tenant-id) op waaronder uw toepassing zich bevindt. U kunt deze ophalen door de muis aan tewijzen in de rechterbovenhoek van Azure Portal. Ja (voor verificatie van service-principal)
autorisatie Klik op de knop Autoriseren in de Data Factory-editor en voer uw referenties in waarmee de automatisch gegenereerde autorisatie-URL aan deze eigenschap wordt toegewezen. Ja (voor verificatie van gebruikersreferenties)
Sessionid OAuth-sessie-id van de OAuth-autorisatiesessie. Elke sessie-id is uniek en kan slechts eenmaal worden gebruikt. Deze instelling wordt automatisch gegenereerd wanneer u De Data Factory-editor gebruikt. Ja (voor verificatie van gebruikersreferenties)

Voorbeeld: service-principalverificatie gebruiken

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": "<service principal key>",
            "tenant": "<tenant info. Example: microsoft.onmicrosoft.com>"
        }
    }
}

Voorbeeld: verificatie van gebruikersreferenties gebruiken

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "sessionId": "<session ID>",
            "authorization": "<authorization URL>",
            "subscriptionId": "<subscription of ADLS>",
            "resourceGroupName": "<resource group of ADLS>"
        }
    }
}

Zie het artikel over de Azure Data Lake Store-connector voor meer informatie.

Gegevensset

Als u een Azure Data Lake Store-gegevensset wilt definiëren, stelt u het type van de gegevensset in op AzureDataLakeStore en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
folderPath Pad naar de container en map in azure Data Lake Store. Ja
fileName Naam van het bestand in azure Data Lake Store. fileName is optioneel en hoofdlettergevoelig.

Als u een bestandsnaam opgeeft, werkt de activiteit (inclusief Kopiëren) voor het specifieke bestand.

Wanneer fileName niet is opgegeven, bevat Copy alle bestanden in de mapPath voor invoergegevensset.

Wanneer fileName niet is opgegeven voor een uitvoergegevensset, heeft de naam van het gegenereerde bestand de volgende indeling: Data.<Guid>.txt (bijvoorbeeld: Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt
Nee
partitionedBy partitionedBy is een optionele eigenschap. U kunt deze gebruiken om een dynamisch folderPath en bestandsnaam op te geven voor tijdreeksgegevens. FolderPath kan bijvoorbeeld worden geparameteriseerd voor elk uur aan gegevens. Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate. Ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee

Voorbeeld

{
    "name": "AzureDataLakeStoreInput",
    "properties": {
        "type": "AzureDataLakeStore",
        "linkedServiceName": "AzureDataLakeStoreLinkedService",
        "typeProperties": {
            "folderPath": "datalake/input/",
            "fileName": "SearchLog.tsv",
            "format": {
                "type": "TextFormat",
                "rowDelimiter": "\n",
                "columnDelimiter": "\t"
            }
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Azure Data Lake Store-connector voor meer informatie.

Azure Data Lake Store-bron in kopieeractiviteit

Als u gegevens kopieert uit een Azure Data Lake Store, stelt u het brontype van de kopieeractiviteit in op AzureDataLakeStoreSource en geeft u de volgende eigenschappen op in de bronsectie :

AzureDataLakeStoreSource ondersteunt de volgende eigenschappen typeProperties-sectie :

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Geeft aan of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Waar (standaardwaarde), Onwaar Nee

Voorbeeld: AzureDataLakeStoreSource

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "AzureDakeLaketoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureDataLakeStoreInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "AzureDataLakeStoreSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Data Lake Store-connector voor meer informatie.

Azure Data Lake Store-sink in kopieeractiviteit

Als u gegevens kopieert naar een Azure Data Lake Store, stelt u het sinktype van de kopieeractiviteit in op AzureDataLakeStoreSink en geeft u de volgende eigenschappen op in de sinksectie :

Eigenschap Beschrijving Toegestane waarden Vereist
copyBehavior Hiermee geeft u het kopieergedrag op. PreserveHierarchy: behoudt de bestandshiërarchie in de doelmap. Het relatieve pad van het bronbestand naar de bronmap is identiek aan het relatieve pad van het doelbestand naar de doelmap.

FlattenHierarchy: alle bestanden uit de bronmap worden gemaakt op het eerste niveau van de doelmap. De doelbestanden worden gemaakt met automatisch gegenereerde naam.

MergeFiles: hiermee worden alle bestanden uit de bronmap samengevoegd tot één bestand. Als de bestandsnaam/blobnaam is opgegeven, is de naam van het samengevoegde bestand de opgegeven naam; anders zou automatisch gegenereerde bestandsnaam zijn.
Nee

Voorbeeld: AzureDataLakeStoreSink

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoDataLake",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": "AzureDataLakeStoreOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "BlobSource"
                },
                "sink": {
                    "type": "AzureDataLakeStoreSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Data Lake Store-connector voor meer informatie.

Azure Cosmos DB

Gekoppelde service

Als u een gekoppelde Azure Cosmos DB-service wilt definiëren, stelt u het type van de gekoppelde service in op DocumentDb en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
connectionString Geef informatie op die nodig is om verbinding te maken met de Azure Cosmos DB-database. Ja

Voorbeeld

{
    "name": "CosmosDBLinkedService",
    "properties": {
        "type": "DocumentDb",
        "typeProperties": {
            "connectionString": "AccountEndpoint=<EndpointUrl>;AccountKey=<AccessKey>;Database=<Database>"
        }
    }
}

Zie het artikel over de Azure Cosmos DB-connector voor meer informatie.

Gegevensset

Als u een Azure Cosmos DB-gegevensset wilt definiëren, stelt u het type van de gegevensset in op DocumentDbCollection en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
collectionName Naam van de Azure Cosmos DB-verzameling. Ja

Voorbeeld

{
    "name": "PersonCosmosDBTable",
    "properties": {
        "type": "DocumentDbCollection",
        "linkedServiceName": "CosmosDBLinkedService",
        "typeProperties": {
            "collectionName": "Person"
        },
        "external": true,
        "availability": {
            "frequency": "Day",
            "interval": 1
        }
    }
}

Zie het artikel over de Azure Cosmos DB-connector voor meer informatie.

Azure Cosmos DB-verzamelingsbron in kopieeractiviteit

Als u gegevens kopieert uit een Azure Cosmos DB, stelt u het brontype van de kopieeractiviteit in op DocumentDbCollectionSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Geef de query op om gegevens te lezen. Queryreeks die wordt ondersteund door Azure Cosmos DB.

Voorbeeld: SELECT c.BusinessEntityID, c.PersonType, c.NameStyle, c.Title, c.Name.First AS FirstName, c.Name.Last AS LastName, c.Suffix, c.EmailPromotion FROM c WHERE c.ModifiedDate > \"2009-01-01T00:00:00\"
Nee

Als dit niet is opgegeven, wordt de SQL-instructie uitgevoerd: select <columns defined in structure> from mycollection
nestingSeparator Speciaal teken om aan te geven dat het document is genest Elk teken.

Azure Cosmos DB is een NoSQL-archief voor JSON-documenten, waarbij geneste structuren zijn toegestaan. Met Azure Data Factory kan de gebruiker de hiërarchie aandumen via nestingSeparator. Dit is '.' in de bovenstaande voorbeelden. Met het scheidingsteken genereert de kopieeractiviteit het object 'Naam' met drie onderliggende elementen Voor- en Midden- en Achternaam, volgens 'Name.First', 'Name.Middle' en 'Name.Last' in de tabeldefinitie.
Nee

Voorbeeld

{
    "name": "DocDbToBlobPipeline",
    "properties": {
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "DocumentDbCollectionSource",
                    "query": "SELECT Person.Id, Person.Name.First AS FirstName, Person.Name.Middle as MiddleName, Person.Name.Last AS LastName FROM Person",
                    "nestingSeparator": "."
                },
                "sink": {
                    "type": "BlobSink",
                    "blobWriterAddHeader": true,
                    "writeBatchSize": 1000,
                    "writeBatchTimeout": "00:00:59"
                }
            },
            "inputs": [{
                "name": "PersonCosmosDBTable"
            }],
            "outputs": [{
                "name": "PersonBlobTableOut"
            }],
            "policy": {
                "concurrency": 1
            },
            "name": "CopyFromCosmosDbToBlob"
        }],
        "start": "2016-04-01T00:00:00",
        "end": "2016-04-02T00:00:00"
    }
}

Sink van Azure Cosmos DB-verzameling in kopieeractiviteit

Als u gegevens naar Azure Cosmos DB kopieert, stelt u het sinktype van de kopieeractiviteit in op DocumentDbCollectionSink en geeft u de volgende eigenschappen op in de sinksectie :

Eigenschap Beschrijving Toegestane waarden Vereist
nestingSeparator Een speciaal teken in de naam van de bronkolom om aan te geven dat genest document nodig is.

Bijvoorbeeld hierboven: Name.First in de uitvoertabel produceert u de volgende JSON-structuur in het Cosmos DB-document:

"Naam": {
"Eerste": "John"
},
Teken dat wordt gebruikt voor het scheiden van geneste niveaus.

De standaardwaarde is . (punt).
Teken dat wordt gebruikt voor het scheiden van geneste niveaus.

De standaardwaarde is . (punt).
writeBatchSize Het aantal parallelle aanvragen voor de Azure Cosmos DB-service om documenten te maken.

U kunt de prestaties verfijnen bij het kopiëren van gegevens naar/van Azure Cosmos DB met behulp van deze eigenschap. U kunt een betere prestaties verwachten wanneer u writeBatchSize verhoogt omdat er meer parallelle aanvragen naar Azure Cosmos DB worden verzonden. U moet echter beperking voorkomen die het foutbericht kan veroorzaken: 'Aanvraagsnelheid is groot'.

Beperking wordt bepaald door een aantal factoren, waaronder de grootte van documenten, het aantal termen in documenten, het indexeringsbeleid van de doelverzameling, enzovoort. Voor kopieerbewerkingen kunt u een betere verzameling (bijvoorbeeld S3) gebruiken om de meeste doorvoer beschikbaar te hebben (2500 aanvraageenheden/seconde).
Geheel getal Nee (standaard: 5)
writeBatchTimeout Wachttijd voordat de bewerking is voltooid voordat er een time-out optreedt. tijdsbestek

Voorbeeld: "00:30:00" (30 minuten).
Nee

Voorbeeld

{
    "name": "BlobToDocDbPipeline",
    "properties": {
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "BlobSource"
                },
                "sink": {
                    "type": "DocumentDbCollectionSink",
                    "nestingSeparator": ".",
                    "writeBatchSize": 2,
                    "writeBatchTimeout": "00:00:00"
                },
                "translator": {
                    "type": "TabularTranslator",
                    "ColumnMappings": "FirstName: Name.First, MiddleName: Name.Middle, LastName: Name.Last, BusinessEntityID: BusinessEntityID, PersonType: PersonType, NameStyle: NameStyle, Title: Title, Suffix: Suffix"
                }
            },
            "inputs": [{
                "name": "PersonBlobTableIn"
            }],
            "outputs": [{
                "name": "PersonCosmosDbTableOut"
            }],
            "policy": {
                "concurrency": 1
            },
            "name": "CopyFromBlobToCosmosDb"
        }],
        "start": "2016-04-14T00:00:00",
        "end": "2016-04-15T00:00:00"
    }
}

Zie het artikel over de Azure Cosmos DB-connector voor meer informatie.

Azure SQL Database

Gekoppelde service

Als u een gekoppelde Azure SQL Database-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureSqlDatabase en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
connectionString Geef informatie op die nodig is om verbinding te maken met het Azure SQL Database-exemplaar voor de eigenschap connectionString. Ja

Voorbeeld

{
    "name": "AzureSqlLinkedService",
    "properties": {
        "type": "AzureSqlDatabase",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;User ID=<username>@<servername>;Password=<password>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30"
        }
    }
}

Zie het artikel over de Azure SQL-connector voor meer informatie.

Gegevensset

Als u een Azure SQL Database-gegevensset wilt definiëren, stelt u het type van de gegevensset in op AzureSqlTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName De naam van de tabel of weergave in het Azure SQL Database-exemplaar waarnaar de gekoppelde service verwijst. Ja

Voorbeeld

{
    "name": "AzureSqlInput",
    "properties": {
        "type": "AzureSqlTable",
        "linkedServiceName": "AzureSqlLinkedService",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Azure SQL-connector voor meer informatie.

SQL-bron in kopieeractiviteit

Als u gegevens kopieert uit een Azure SQL Database, stelt u het brontype van de kopieeractiviteit in op SqlSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
sqlReaderQuery Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Nee
sqlReaderStoredProcedureName Naam van de opgeslagen procedure waarmee gegevens uit de brontabel worden gelezen. Naam van de opgeslagen procedure. Nee
storedProcedureParameters Parameters voor de opgeslagen procedure. Naam-/waardeparen. Namen en hoofdletters van parameters moeten overeenkomen met de namen en behuizing van de opgeslagen procedureparameters. Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "AzureSQLtoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureSQLInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "SqlSource",
                    "SqlReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd HH:mm}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd HH:mm}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure SQL-connector voor meer informatie.

SQL Sink in kopieeractiviteit

Als u gegevens kopieert naar Azure SQL Database, stelt u het sinktype van de kopieeractiviteit in op SqlSink en geeft u de volgende eigenschappen op in de sectie Sink :

Eigenschap Beschrijving Toegestane waarden Vereist
writeBatchTimeout Wachttijd voordat de batch-invoegbewerking is voltooid voordat er een time-out optreedt. tijdsbestek

Voorbeeld: '00:30:00' (30 minuten).
Nee
writeBatchSize Hiermee voegt u gegevens in de SQL-tabel in wanneer de buffergrootte writeBatchSize bereikt. Geheel getal (aantal rijen) Nee (standaard: 10000)
sqlWriterCleanupScript Geef een query op voor kopieeractiviteit die moet worden uitgevoerd, zodat gegevens van een specifiek segment worden opgeschoond. Een query-instructie. Nee
sliceIdentifierColumnName Geef een kolomnaam op voor kopieeractiviteit die moet worden gevuld met automatisch gegenereerde segment-id, die wordt gebruikt om gegevens van een specifiek segment op te schonen wanneer deze opnieuw worden uitgevoerd. Kolomnaam van een kolom met gegevenstype binair(32). Nee
sqlWriterStoredProcedureName Naam van de opgeslagen procedure die upserts (updates/invoegt) gegevens in de doeltabel. Naam van de opgeslagen procedure. Nee
storedProcedureParameters Parameters voor de opgeslagen procedure. Naam-/waardeparen. Namen en hoofdletters van parameters moeten overeenkomen met de namen en behuizing van de opgeslagen procedureparameters. Nee
sqlWriterTableType Geef een tabeltypenaam op die moet worden gebruikt in de opgeslagen procedure. Kopieeractiviteit maakt de gegevens beschikbaar in een tijdelijke tabel met dit tabeltype. Opgeslagen procedurecode kan vervolgens de gegevens samenvoegen die worden gekopieerd met bestaande gegevens. Een tabeltypenaam. Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoSQL",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": "AzureSqlOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "BlobSource",
                    "blobColumnSeparators": ","
                },
                "sink": {
                    "type": "SqlSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure SQL-connector voor meer informatie.

Azure Synapse Analytics

Gekoppelde service

Als u een gekoppelde Azure Synapse Analytics-service wilt definiëren, stelt u het type gekoppelde service in op AzureSqlDW en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
connectionString Geef informatie op die nodig is om verbinding te maken met het Azure Synapse Analytics-exemplaar voor de eigenschap connectionString. Ja

Voorbeeld

{
    "name": "AzureSqlDWLinkedService",
    "properties": {
        "type": "AzureSqlDW",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;User ID=<username>@<servername>;Password=<password>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30"
        }
    }
}

Zie het artikel over de Azure Synapse Analytics-connector voor meer informatie.

Gegevensset

Als u een Azure Synapse Analytics-gegevensset wilt definiëren, stelt u het type van de gegevensset in op AzureSqlDWTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel of weergave in de Azure Synapse Analytics-database waarnaar de gekoppelde service verwijst. Ja

Voorbeeld

{
    "name": "AzureSqlDWInput",
    "properties": {
    "type": "AzureSqlDWTable",
        "linkedServiceName": "AzureSqlDWLinkedService",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Azure Synapse Analytics-connector voor meer informatie.

Azure Synapse Analytics-bron in kopieeractiviteit

Als u gegevens kopieert uit Azure Synapse Analytics, stelt u het brontype van de kopieeractiviteit in op SqlDWSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
sqlReaderQuery Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Nee
sqlReaderStoredProcedureName Naam van de opgeslagen procedure waarmee gegevens uit de brontabel worden gelezen. Naam van de opgeslagen procedure. Nee
storedProcedureParameters Parameters voor de opgeslagen procedure. Naam-/waardeparen. Namen en hoofdletters van parameters moeten overeenkomen met de namen en behuizing van de opgeslagen procedureparameters. Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "AzureSQLDWtoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureSqlDWInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "SqlDWSource",
                    "sqlReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd HH:mm}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd HH:mm}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Synapse Analytics-connector voor meer informatie.

Azure Synapse Analytics Sink in kopieeractiviteit

Als u gegevens kopieert naar Azure Synapse Analytics, stelt u het sinktype van de kopieeractiviteit in op SqlDWSink en geeft u de volgende eigenschappen op in de sectie Sink :

Eigenschap Beschrijving Toegestane waarden Vereist
sqlWriterCleanupScript Geef een query op voor kopieeractiviteit die moet worden uitgevoerd, zodat gegevens van een specifiek segment worden opgeschoond. Een query-instructie. Nee
allowPolyBase Hiermee wordt aangegeven of PolyBase (indien van toepassing) moet worden gebruikt in plaats van het BULKINSERT-mechanisme.

Het gebruik van PolyBase is de aanbevolen manier om gegevens te laden in Azure Synapse Analytics.
Waar
False (standaard)
Nee
polyBaseSettings Een groep eigenschappen die kan worden opgegeven wanneer de eigenschap allowPolybase is ingesteld op true.   Nee
rejectValue Hiermee geeft u het aantal of percentage rijen op dat kan worden geweigerd voordat de query mislukt.

Meer informatie over de weigeringsopties van PolyBase in de sectie Argumenten van het onderwerp CREATE EXTERNAL TABLE (Transact-SQL).
0 (standaard), 1, 2, ... Nee
rejectType Hiermee geeft u op of de optie rejectValue is opgegeven als een letterlijke waarde of een percentage. Waarde (standaard), Percentage Nee
rejectSampleValue Bepaalt het aantal rijen dat moet worden opgehaald voordat de PolyBase het percentage geweigerde rijen opnieuw berekent. 1, 2, ... Ja, als rejectTypepercentage is
useTypeDefault Hiermee geeft u op hoe ontbrekende waarden in tekstbestanden met scheidingstekens moeten worden verwerkt wanneer PolyBase gegevens uit het tekstbestand ophaalt.

Meer informatie over deze eigenschap vindt u in de sectie Argumenten in CREATE EXTERNAL FILE FORMAT (Transact-SQL).
Waar, Onwaar (standaard) Nee
writeBatchSize Hiermee voegt u gegevens in de SQL-tabel in wanneer de buffergrootte writeBatchSize bereikt Geheel getal (aantal rijen) Nee (standaard: 10000)
writeBatchTimeout Wachttijd voordat de batch-invoegbewerking is voltooid voordat er een time-out optreedt. tijdsbestek

Voorbeeld: '00:30:00' (30 minuten).
Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoSQLDW",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": "AzureSqlDWOutput"
            }],
            "typeProperties": {
                "source": {
                "type": "BlobSource",
                    "blobColumnSeparators": ","
                },
                "sink": {
                    "type": "SqlDWSink",
                    "allowPolyBase": true
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Synapse Analytics-connector voor meer informatie.

Gekoppelde service

Als u een gekoppelde Azure Cognitive Search-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureSearch en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
url URL voor de zoekservice. Ja
sleutel Beheersleutel voor de zoekservice. Ja

Voorbeeld

{
    "name": "AzureSearchLinkedService",
    "properties": {
        "type": "AzureSearch",
        "typeProperties": {
            "url": "https://<service>.search.windows.net",
            "key": "<AdminKey>"
        }
    }
}

Zie het artikel over de Azure Cognitive Search-connector voor meer informatie.

Gegevensset

Als u een Azure Cognitive Search-gegevensset wilt definiëren, stelt u het type gegevensset in op AzureSearchIndex en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op AzureSearchIndex. Ja
indexName Naam van de zoekindex. Data Factory maakt de index niet. De index moet bestaan in Azure Cognitive Search. Ja

Voorbeeld

{
    "name": "AzureSearchIndexDataset",
    "properties": {
        "type": "AzureSearchIndex",
        "linkedServiceName": "AzureSearchLinkedService",
        "typeProperties": {
            "indexName": "products"
        },
        "availability": {
            "frequency": "Minute",
            "interval": 15
        }
    }
}

Zie het artikel over de Azure Cognitive Search-connector voor meer informatie.

Indexink van Azure Cognitive Search in kopieeractiviteit

Als u gegevens naar een zoekindex kopieert, stelt u het sinktype van de kopieeractiviteit in op AzureSearchIndexSink en geeft u de volgende eigenschappen op in de sinksectie :

Eigenschap Beschrijving Toegestane waarden Vereist
WriteBehavior Hiermee geeft u op of u wilt samenvoegen of vervangen wanneer er al een document in de index bestaat. Samenvoegen (standaard)
Uploaden
Nee
WriteBatchSize Hiermee worden gegevens geüpload naar de zoekindex wanneer de buffergrootte writeBatchSize bereikt. 1 tot 1000. De standaardwaarde is 1000. Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "SqlServertoAzureSearchIndex",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": " SqlServerInput"
            }],
            "outputs": [{
                "name": "AzureSearchIndexDataset"
            }],
            "typeProperties": {
                "source": {
                    "type": "SqlSource",
                    "SqlReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd HH:mm}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd HH:mm}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "AzureSearchIndexSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Cognitive Search-connector voor meer informatie.

Azure Table Storage

Gekoppelde service

Er zijn twee typen gekoppelde services: een gekoppelde Azure Storage-service en een gekoppelde Azure Storage SAS-service.

Een gekoppelde Azure Storage-service

Als u uw Azure-opslagaccount wilt koppelen aan een data factory met behulp van de accountsleutel, maakt u een gekoppelde Azure Storage-service. Als u een gekoppelde Azure Storage-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureStorage. Vervolgens kunt u de volgende eigenschappen opgeven in de sectie typeProperties :

Eigenschap Beschrijving Vereist
type Het type eigenschap moet worden ingesteld op: AzureStorage Ja
connectionString Geef de gegevens op die nodig zijn om verbinding te maken met Azure Storage voor de connectionString-eigenschap. Ja

Voorbeeld:

{
    "name": "StorageLinkedService",
    "properties": {
        "type": "AzureStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        }
    }
}

Gekoppelde Azure Storage SAS-service

Met de gekoppelde Azure Storage SAS-service kunt u een Azure Storage-account koppelen aan een Azure-data factory met behulp van een Shared Access Signature (SAS). Het biedt de data factory met beperkte/tijdgebonden toegang tot alle/specifieke resources (blob/container) in de opslag. Als u uw Azure-opslagaccount wilt koppelen aan een data factory met behulp van Shared Access Signature, maakt u een gekoppelde Azure Storage SAS-service. Als u een gekoppelde Azure Storage SAS-service wilt definiëren, stelt u het type van de gekoppelde service in op AzureStorageSas. Vervolgens kunt u de volgende eigenschappen opgeven in de sectie typeProperties :

Eigenschap Beschrijving Vereist
type Het type eigenschap moet worden ingesteld op: AzureStorageSas Ja
sasUri Geef Shared Access Signature-URI op voor de Azure Storage-resources, zoals blob, container of tabel. Ja

Voorbeeld:

{
    "name": "StorageSasLinkedService",
    "properties": {
        "type": "AzureStorageSas",
        "typeProperties": {
            "sasUri": "<storageUri>?<sasToken>"
        }
    }
}

Zie het artikel over de Azure Table Storage-connector voor meer informatie over deze gekoppelde services.

Gegevensset

Als u een Azure Table-gegevensset wilt definiëren, stelt u het type van de gegevensset in op AzureTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName De naam van de tabel in het Azure Table Database-exemplaar waarnaar de gekoppelde service verwijst. Ja. Wanneer een tableName wordt opgegeven zonder azureTableSourceQuery, worden alle records uit de tabel gekopieerd naar het doel. Als er ook een azureTableSourceQuery is opgegeven, worden records uit de tabel die voldoen aan de query gekopieerd naar de bestemming.

Voorbeeld

{
    "name": "AzureTableInput",
    "properties": {
        "type": "AzureTable",
        "linkedServiceName": "StorageLinkedService",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Azure Table Storage-connector voor meer informatie over deze gekoppelde services.

Azure-tabelbron in kopieeractiviteit

Als u gegevens kopieert uit Azure Table Storage, stelt u het brontype van de kopieeractiviteit in op AzureTableSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
azureTableSourceQuery Gebruik de aangepaste query om gegevens te lezen. Azure Table-queryreeks. Zie voorbeelden in de volgende sectie. Nee. Wanneer een tableName wordt opgegeven zonder azureTableSourceQuery, worden alle records uit de tabel gekopieerd naar het doel. Als er ook een azureTableSourceQuery is opgegeven, worden records uit de tabel die voldoen aan de query gekopieerd naar de bestemming.
azureTableSourceIgnoreTableNotFound Geef aan of de uitzondering van tabel niet bestaat. TRUE
FALSE
Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "AzureTabletoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureTableInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "AzureTableSource",
                    "AzureTableSourceQuery": "PartitionKey eq 'DefaultPartitionKey'"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Table Storage-connector voor meer informatie over deze gekoppelde services.

Azure Table Sink in kopieeractiviteit

Als u gegevens kopieert naar Azure Table Storage, stelt u het sinktype van de kopieeractiviteit in op AzureTableSink en geeft u de volgende eigenschappen op in de sinksectie :

Eigenschap Beschrijving Toegestane waarden Vereist
azureTableDefaultPartitionKeyValue Standaardpartitiesleutelwaarde die door de sink kan worden gebruikt. Een tekenreekswaarde. Nee
azureTablePartitionKeyName Geef de naam op van de kolom waarvan de waarden worden gebruikt als partitiesleutels. Als dit niet is opgegeven, wordt AzureTableDefaultPartitionKeyValue gebruikt als de partitiesleutel. Een kolomnaam. Nee
azureTableRowKeyName Geef de naam op van de kolom waarvan de kolomwaarden worden gebruikt als rijsleutel. Als dit niet is opgegeven, gebruikt u een GUID voor elke rij. Een kolomnaam. Nee
azureTableInsertType De modus voor het invoegen van gegevens in de Azure-tabel.

Met deze eigenschap bepaalt u of bestaande rijen in de uitvoertabel met overeenkomende partitie- en rijsleutels de waarden vervangen of samengevoegd hebben.

Zie De onderwerpen Entiteit invoegen of samenvoegen en Entiteit invoegen of vervangen voor meer informatie over hoe deze instellingen (samenvoegen en vervangen) werken.

Deze instelling is van toepassing op rijniveau, niet op tabelniveau en geen van beide opties verwijdert rijen in de uitvoertabel die niet aanwezig zijn in de invoer.
samenvoegen (standaard)
vervangen
Nee
writeBatchSize Hiermee voegt u gegevens in de Azure-tabel in wanneer de writeBatchSize of writeBatchTimeout wordt bereikt. Geheel getal (aantal rijen) Nee (standaard: 10000)
writeBatchTimeout Hiermee voegt u gegevens in de Azure-tabel in wanneer de writeBatchSize of writeBatchTimeout wordt bereikt tijdsbestek

Voorbeeld: '00:20:00' (20 minuten)
Nee (standaardwaarde voor time-out voor opslagclient 90 sec.

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoTable",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": "AzureTableOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "BlobSource"
                },
                "sink": {
                    "type": "AzureTableSink",
                    "writeBatchSize": 100,
                    "writeBatchTimeout": "01:00:00"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Azure Table Storage-connector voor meer informatie over deze gekoppelde services.

Amazon RedShift

Gekoppelde service

Als u een gekoppelde Amazon Redshift-service wilt definiëren, stelt u het type gekoppelde service in op AmazonRedshift en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server IP-adres of hostnaam van de Amazon Redshift-server. Ja
poort Het aantal TCP-poort dat de Amazon Redshift-server gebruikt om te luisteren naar clientverbindingen. Nee, standaardwaarde: 5439
database Naam van de Amazon Redshift-database. Ja
gebruikersnaam Naam van de gebruiker die toegang heeft tot de database. Ja
wachtwoord Wachtwoord voor het gebruikersaccount. Ja

Voorbeeld

{
    "name": "AmazonRedshiftLinkedService",
    "properties": {
        "type": "AmazonRedshift",
        "typeProperties": {
            "server": "<Amazon Redshift host name or IP address>",
            "port": 5439,
            "database": "<database name>",
            "username": "user",
            "password": "password"
        }
    }
}

Zie het artikel amazon Redshift-connector voor meer informatie.

Gegevensset

Als u een Amazon Redshift-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel in de Amazon Redshift-database waarnaar de gekoppelde service verwijst. Nee (als de query van RelationalSource is opgegeven)

Voorbeeld

{
    "name": "AmazonRedshiftInputDataset",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "AmazonRedshiftLinkedService",
        "typeProperties": {
            "tableName": "<Table name>"
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true
    }
}

Zie het artikel amazon Redshift-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert van Amazon Redshift, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Nee (als tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "CopyAmazonRedshiftToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "$$Text.Format('select * from MyTable where timestamp >= \\'{0:yyyy-MM-ddTHH:mm:ss}\\' AND timestamp < \\'{1:yyyy-MM-ddTHH:mm:ss}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "AmazonRedshiftInputDataset"
            }],
            "outputs": [{
                "name": "AzureBlobOutputDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "AmazonRedshiftToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel amazon Redshift-connector voor meer informatie.

IBM DB2

Gekoppelde service

Als u een gekoppelde IBM DB2-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesDB2 en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server Naam van de DB2-server. Ja
database Naam van de DB2-database. Ja
schema Naam van het schema in de database. De schemanaam is hoofdlettergevoelig. Nee
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met de DB2-database. Mogelijke waarden zijn: Anoniem, Basic en Windows. Ja
gebruikersnaam Geef de gebruikersnaam op als u Basis- of Windows-verificatie gebruikt. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee
gatewayName Naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de on-premises DB2-database. Ja

Voorbeeld

{
    "name": "OnPremDb2LinkedService",
    "properties": {
        "type": "OnPremisesDb2",
        "typeProperties": {
            "server": "<server>",
            "database": "<database>",
            "schema": "<schema>",
            "authenticationType": "<authentication type>",
            "username": "<username>",
            "password": "<password>",
            "gatewayName": "<gatewayName>"
        }
    }
}

Zie het artikel over DE IBM DB2-connector voor meer informatie.

Gegevensset

Als u een DB2-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel in het DATABASE2-database-exemplaar waarnaar de gekoppelde service verwijst. De tableName is hoofdlettergevoelig. Nee (als de query van RelationalSource is opgegeven)

Voorbeeld

{
    "name": "Db2DataSet",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "OnPremDb2LinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over DE IBM DB2-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert van IBM DB2, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: "query": "select * from "MySchema"."MyTable"". Nee (als tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "CopyDb2ToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "select * from \"Orders\""
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "inputs": [{
                "name": "Db2DataSet"
            }],
            "outputs": [{
                "name": "AzureBlobDb2DataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "Db2ToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel over DE IBM DB2-connector voor meer informatie.

MySQL

Gekoppelde service

Als u een gekoppelde MySQL-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesMySql en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server Naam van de MySQL-server. Ja
database Naam van de MySQL-database. Ja
schema Naam van het schema in de database. Nee
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met de MySQL-database. Mogelijke waarden zijn: Basic. Ja
userName Geef de gebruikersnaam op om verbinding te maken met de MySQL-database. Ja
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven. Ja
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de on-premises MySQL-database. Ja

Voorbeeld

{
    "name": "OnPremMySqlLinkedService",
    "properties": {
        "type": "OnPremisesMySql",
        "typeProperties": {
            "server": "<server name>",
            "database": "<database name>",
            "schema": "<schema name>",
            "authenticationType": "<authentication type>",
            "userName": "<user name>",
            "password": "<password>",
            "gatewayName": "<gateway>"
        }
    }
}

Zie het artikel mySQL-connector voor meer informatie.

Gegevensset

Als u een MySQL-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel in het MySQL Database-exemplaar waarnaar de gekoppelde service verwijst. Nee (als de query van RelationalSource is opgegeven)

Voorbeeld

{
    "name": "MySqlDataSet",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "OnPremMySqlLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel mySQL-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een MySQL-database, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Nee (als tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "CopyMySqlToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "$$Text.Format('select * from MyTable where timestamp >= \\'{0:yyyy-MM-ddTHH:mm:ss}\\' AND timestamp < \\'{1:yyyy-MM-ddTHH:mm:ss}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "MySqlDataSet"
            }],
            "outputs": [{
                "name": "AzureBlobMySqlDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "MySqlToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel mySQL-connector voor meer informatie.

Oracle

Gekoppelde service

Als u een gekoppelde Oracle-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesOracle en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
driverType Geef op welk stuurprogramma moet worden gebruikt om gegevens van/naar Oracle Database te kopiëren. Toegestane waarden zijn Microsoft of ODP (standaard). Zie de sectie Ondersteunde versie en installatie over stuurprogrammagegevens. Nee
connectionString Geef informatie op die nodig is om verbinding te maken met het Oracle Database-exemplaar voor de eigenschap connectionString. Ja
gatewayName Naam van de gateway die wordt gebruikt om verbinding te maken met de on-premises Oracle-server Ja

Voorbeeld

{
    "name": "OnPremisesOracleLinkedService",
    "properties": {
        "type": "OnPremisesOracle",
        "typeProperties": {
            "driverType": "Microsoft",
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;",
            "gatewayName": "<gateway name>"
        }
    }
}

Zie het artikel over de Oracle-connector voor meer informatie.

Gegevensset

Als u een Oracle-gegevensset wilt definiëren, stelt u het type van de gegevensset in op OracleTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel in de Oracle-database waarnaar de gekoppelde service verwijst. Nee (als oracleReaderQuery van OracleSource is opgegeven)

Voorbeeld

{
    "name": "OracleInput",
    "properties": {
        "type": "OracleTable",
        "linkedServiceName": "OnPremisesOracleLinkedService",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "external": true,
        "availability": {
            "offset": "01:00:00",
            "interval": "1",
            "anchorDateTime": "2016-02-27T12:00:00",
            "frequency": "Hour"
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Oracle-connector voor meer informatie.

Oracle-bron in kopieeractiviteit

Als u gegevens kopieert uit een Oracle-database, stelt u het brontype van de kopieeractiviteit in op OracleSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
oracleReaderQuery Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable

Als dit niet is opgegeven, wordt de SQL-instructie uitgevoerd: select * from MyTable
Nee (als tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "OracletoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": " OracleInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "OracleSource",
                    "oracleReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd HH:mm}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd HH:mm}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
            "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Oracle-connector voor meer informatie.

Oracle Sink in kopieeractiviteit

Als u gegevens kopieert naar een Oracle-database, stelt u het sinktype van de kopieeractiviteit in op OracleSink en geeft u de volgende eigenschappen op in de sinksectie :

Eigenschap Beschrijving Toegestane waarden Vereist
writeBatchTimeout Wachttijd voordat de batch-invoegbewerking is voltooid voordat er een time-out optreedt. tijdsbestek

Voorbeeld: 00:30:00 (30 minuten).
Nee
writeBatchSize Hiermee worden gegevens in de SQL-tabel ingevoegd wanneer de buffergrootte writeBatchSize bereikt. Geheel getal (aantal rijen) Nee (standaard: 100)
sqlWriterCleanupScript Geef een query op voor kopieeractiviteit die moet worden uitgevoerd, zodat de gegevens van een specifiek segment worden opgeschoond. Een query-instructie. Nee
sliceIdentifierColumnName Geef de kolomnaam op voor kopieeractiviteit om de automatisch gegenereerde slice-id op te vullen. Deze wordt gebruikt om gegevens van een specifiek segment op te schonen wanneer deze opnieuw worden uitgevoerd. Kolomnaam van een kolom met gegevenstype binair(32). Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-05T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoOracle",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": "OracleOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "BlobSource"
                },
                "sink": {
                    "type": "OracleSink"
                }
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Oracle-connector voor meer informatie.

PostgreSQL

Gekoppelde service

Als u een gekoppelde PostgreSQL-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesPostgreSql en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server Naam van de PostgreSQL-server. Ja
database Naam van de PostgreSQL-database. Ja
schema Naam van het schema in de database. De schemanaam is hoofdlettergevoelig. Nee
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met de PostgreSQL-database. Mogelijke waarden zijn: Anoniem, Basic en Windows. Ja
gebruikersnaam Geef de gebruikersnaam op als u basis- of Windows-verificatie gebruikt. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de on-premises PostgreSQL-database. Ja

Voorbeeld

{
    "name": "OnPremPostgreSqlLinkedService",
    "properties": {
        "type": "OnPremisesPostgreSql",
        "typeProperties": {
            "server": "<server>",
            "database": "<database>",
            "schema": "<schema>",
            "authenticationType": "<authentication type>",
            "username": "<username>",
            "password": "<password>",
            "gatewayName": "<gatewayName>"
        }
    }
}

Zie het artikel postgreSQL-connector voor meer informatie.

Gegevensset

Als u een PostgreSQL-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName De naam van de tabel in het PostgreSQL Database-exemplaar waarnaar de gekoppelde service verwijst. De tableName is hoofdlettergevoelig. Nee (als query van RelationalSource is opgegeven)

Voorbeeld

{
    "name": "PostgreSqlDataSet",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "OnPremPostgreSqlLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel postgreSQL-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een PostgreSQL-database, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: 'query': 'select * from 'MySchema'. MyTable". Nee (als tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "CopyPostgreSqlToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "select * from \"public\".\"usstates\""
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "inputs": [{
                "name": "PostgreSqlDataSet"
            }],
            "outputs": [{
                "name": "AzureBlobPostgreSqlDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "PostgreSqlToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel postgreSQL-connector voor meer informatie.

SAP Business Warehouse

Gekoppelde service

Als u een gekoppelde SAP Business Warehouse-service (BW) wilt definiëren, stelt u het type van de gekoppelde service in op SapBw en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Toegestane waarden Vereist
server Naam van de server waarop het SAP BW-exemplaar zich bevindt. tekenreeks Ja
systemNumber Systeemnummer van het SAP BW-systeem. Een decimaal getal met twee cijfers dat wordt weergegeven als een tekenreeks. Ja
clientId Client-id van de client in het SAP W-systeem. Driecijferig decimaal getal dat wordt weergegeven als een tekenreeks. Ja
gebruikersnaam Naam van de gebruiker die toegang heeft tot de SAP-server tekenreeks Ja
wachtwoord Het wachtwoord voor de gebruiker. tekenreeks Ja
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met het on-premises SAP BW-exemplaar. tekenreeks Ja
encryptedCredential De versleutelde referentietekenreeks. tekenreeks No

Voorbeeld

{
    "name": "SapBwLinkedService",
    "properties": {
        "type": "SapBw",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client id>",
            "username": "<SAP user>",
            "password": "<Password for SAP user>",
            "gatewayName": "<gateway name>"
        }
    }
}

Zie het artikel over de SAP Business Warehouse-connector voor meer informatie.

Gegevensset

Als u een SAP BW-gegevensset wilt definiëren, stelt u het type gegevensset in op RelationalTable. Er worden geen typespecifieke eigenschappen ondersteund voor de SAP BW-gegevensset van het type RelationalTable.

Voorbeeld

{
    "name": "SapBwDataset",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "SapBwLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true
    }
}

Zie het artikel over de SAP Business Warehouse-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit SAP Business Warehouse, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Hiermee geeft u de MDX-query op voor het lezen van gegevens uit het SAP BW-exemplaar. MDX-query. Ja

Voorbeeld

{
    "name": "CopySapBwToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "<MDX query for SAP BW>"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "SapBwDataset"
            }],
            "outputs": [{
                "name": "AzureBlobDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "SapBwToBlob"
        }],
        "start": "2017-03-01T18:00:00",
        "end": "2017-03-01T19:00:00"
    }
}

Zie het artikel over de SAP Business Warehouse-connector voor meer informatie.

SAP HANA

Gekoppelde service

Als u een gekoppelde SAP HANA-service wilt definiëren, stelt u het type van de gekoppelde service in op SapHana en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Toegestane waarden Vereist
server Naam van de server waarop de SAP HANA-instantie zich bevindt. Als uw server een aangepaste poort gebruikt, geeft u server:portop. tekenreeks Ja
authenticationType Type verificatie. Tekenreeks. "Basic" of "Windows" Ja
gebruikersnaam Naam van de gebruiker die toegang heeft tot de SAP-server tekenreeks Ja
wachtwoord Het wachtwoord voor de gebruiker. tekenreeks Ja
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met het on-premises SAP HANA-exemplaar. tekenreeks Ja
encryptedCredential De versleutelde referentietekenreeks. tekenreeks No

Voorbeeld

{
    "name": "SapHanaLinkedService",
    "properties": {
        "type": "SapHana",
        "typeProperties": {
            "server": "<server name>",
            "authenticationType": "<Basic, or Windows>",
            "username": "<SAP user>",
            "password": "<Password for SAP user>",
            "gatewayName": "<gateway name>"
        }
    }
}

Zie het artikel over de SAP HANA-connector voor meer informatie.

Gegevensset

Als u een SAP HANA-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable. Er worden geen typespecifieke eigenschappen ondersteund voor de SAP HANA-gegevensset van het type RelationalTable.

Voorbeeld

{
    "name": "SapHanaDataset",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "SapHanaLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true
    }
}

Zie het artikel over de SAP HANA-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een SAP HANA-gegevensarchief, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Hiermee geeft u de SQL-query op voor het lezen van gegevens uit het SAP HANA-exemplaar. SQL-query. Ja

Voorbeeld

{
    "name": "CopySapHanaToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "<SQL Query for HANA>"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "SapHanaDataset"
            }],
            "outputs": [{
                "name": "AzureBlobDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "SapHanaToBlob"
        }],
        "start": "2017-03-01T18:00:00",
        "end": "2017-03-01T19:00:00"
    }
}

Zie het artikel over de SAP HANA-connector voor meer informatie.

SQL Server

Gekoppelde service

U maakt een gekoppelde service van het type OnPremisesSqlServer om een SQL Server-database te koppelen aan een data factory. De volgende tabel bevat een beschrijving voor JSON-elementen die specifiek zijn voor de gekoppelde SQL Server-service.

De volgende tabel bevat een beschrijving voor JSON-elementen die specifiek zijn voor de gekoppelde SQL Server-service.

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op: OnPremisesSqlServer. Ja
connectionString Geef connectionString-informatie op die nodig is om verbinding te maken met de SQL Server-database met behulp van SQL-verificatie of Windows-verificatie. Ja
gatewayName Naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de SQL Server-database. Ja
gebruikersnaam Geef de gebruikersnaam op als u Windows-verificatie gebruikt. Voorbeeld: domeinnaam\gebruikersnaam. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee

U kunt referenties versleutelen met behulp van de cmdlet New-AzDataFactoryEncryptValue en deze gebruiken in de verbindingsreeks, zoals wordt weergegeven in het volgende voorbeeld (EncryptedCredential-eigenschap ):

"connectionString": "Data Source=<servername>;Initial Catalog=<databasename>;Integrated Security=True;EncryptedCredential=<encrypted credential>",

Voorbeeld: JSON voor het gebruik van SQL-verificatie

{
    "name": "MyOnPremisesSQLDB",
    "properties": {
        "type": "OnPremisesSqlServer",
        "typeProperties": {
            "connectionString": "Data Source=<servername>;Initial Catalog=MarketingCampaigns;Integrated Security=False;User ID=<username>;Password=<password>;",
            "gatewayName": "<gateway name>"
        }
    }
}

Voorbeeld: JSON voor het gebruik van Windows-verificatie

Als de gebruikersnaam en het wachtwoord zijn opgegeven, gebruikt de gateway deze om het opgegeven gebruikersaccount te imiteren om verbinding te maken met de SQL Server-database. Anders maakt de gateway rechtstreeks verbinding met de SQL Server met de beveiligingscontext van Gateway (het opstartaccount).

{
    "Name": " MyOnPremisesSQLDB",
    "Properties": {
        "type": "OnPremisesSqlServer",
        "typeProperties": {
            "ConnectionString": "Data Source=<servername>;Initial Catalog=MarketingCampaigns;Integrated Security=True;",
            "username": "<domain\\username>",
            "password": "<password>",
            "gatewayName": "<gateway name>"
        }
    }
}

Zie het artikel sql Server-connector voor meer informatie.

Gegevensset

Als u een SQL Server-gegevensset wilt definiëren, stelt u het type van de gegevensset in op SqlServerTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName De naam van de tabel of weergave in het SQL Server Database-exemplaar waarnaar de gekoppelde service verwijst. Ja

Voorbeeld

{
    "name": "SqlServerInput",
    "properties": {
        "type": "SqlServerTable",
        "linkedServiceName": "SqlServerLinkedService",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel sql Server-connector voor meer informatie.

Sql-bron in kopieeractiviteit

Als u gegevens kopieert uit een SQL Server-database, stelt u het brontype van de kopieeractiviteit in op SqlSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
sqlReaderQuery Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Kan verwijzen naar meerdere tabellen uit de database waarnaar wordt verwezen door de invoergegevensset. Als dit niet is opgegeven, selecteert u de SQL-instructie die wordt uitgevoerd in MyTable. Nee
sqlReaderStoredProcedureName Naam van de opgeslagen procedure waarmee gegevens uit de brontabel worden gelezen. Naam van de opgeslagen procedure. Nee
storedProcedureParameters Parameters voor de opgeslagen procedure. Naam-/waardeparen. Namen en hoofdletters van parameters moeten overeenkomen met de namen en behuizing van de opgeslagen procedureparameters. Nee

Als de sqlReaderQuery is opgegeven voor sqlSource, voert de kopieeractiviteit deze query uit op de SQL Server Database-bron om de gegevens op te halen.

U kunt ook een opgeslagen procedure opgeven door de sqlReaderStoredProcedureName en storedProcedureParameters op te geven (als de opgeslagen procedure parameters gebruikt).

Als u sqlReaderQuery of sqlReaderStoredProcedureName niet opgeeft, worden de kolommen die in de structuursectie zijn gedefinieerd, gebruikt om een selectiequery te maken die moet worden uitgevoerd op basis van de SQL Server-database. Als de definitie van de gegevensset niet de structuur heeft, worden alle kolommen uit de tabel geselecteerd.

Notitie

Wanneer u sqlReaderStoredProcedureName gebruikt, moet u nog steeds een waarde opgeven voor de eigenschap tableName in de JSON-gegevensset. Er zijn echter geen validaties uitgevoerd voor deze tabel.

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "SqlServertoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": " SqlServerInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "SqlSource",
                    "SqlReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd HH:mm}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd HH:mm}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink"
                }
			},
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

In dit voorbeeld wordt sqlReaderQuery opgegeven voor sqlSource. Met de kopieeractiviteit wordt deze query uitgevoerd op de SQL Server Database-bron om de gegevens op te halen. U kunt ook een opgeslagen procedure opgeven door de sqlReaderStoredProcedureName en storedProcedureParameters op te geven (als de opgeslagen procedure parameters gebruikt). De sqlReaderQuery kan verwijzen naar meerdere tabellen in de database waarnaar wordt verwezen door de invoergegevensset. Het is niet beperkt tot alleen de tabelset als typeProperty van de gegevensset.

Als u sqlReaderQuery of sqlReaderStoredProcedureName niet opgeeft, worden de kolommen die in de structuursectie zijn gedefinieerd, gebruikt om een selectiequery te maken die moet worden uitgevoerd op basis van de SQL Server-database. Als de definitie van de gegevensset niet de structuur heeft, worden alle kolommen uit de tabel geselecteerd.

Zie het artikel sql Server-connector voor meer informatie.

Sql Sink in kopieeractiviteit

Als u gegevens naar een SQL Server-database kopieert, stelt u het sinktype van de kopieeractiviteit in op SqlSink en geeft u de volgende eigenschappen op in de sectie Sink :

Eigenschap Beschrijving Toegestane waarden Vereist
writeBatchTimeout Wachttijd voordat de batch-invoegbewerking is voltooid voordat er een time-out optreedt. tijdsbestek

Voorbeeld: '00:30:00' (30 minuten).
Nee
writeBatchSize Hiermee voegt u gegevens in de SQL-tabel in wanneer de buffergrootte writeBatchSize bereikt. Geheel getal (aantal rijen) Nee (standaard: 10000)
sqlWriterCleanupScript Geef een query op voor kopieeractiviteit die moet worden uitgevoerd, zodat de gegevens van een specifiek segment worden opgeschoond. Zie de sectie Herhaalbaarheid voor meer informatie. Een query-instructie. Nee
sliceIdentifierColumnName Geef de kolomnaam op voor kopieeractiviteit om de automatisch gegenereerde slice-id op te vullen. Deze wordt gebruikt om gegevens van een specifiek segment op te schonen wanneer deze opnieuw worden uitgevoerd. Zie de sectie Herhaalbaarheid voor meer informatie. Kolomnaam van een kolom met gegevenstype binair(32). Nee
sqlWriterStoredProcedureName Naam van de opgeslagen procedure die upsert (updates/invoegt) gegevens in de doeltabel. Naam van de opgeslagen procedure. Nee
storedProcedureParameters Parameters voor de opgeslagen procedure. Naam-/waardeparen. Namen en hoofdletters van parameters moeten overeenkomen met de namen en hoofdletters van de opgeslagen procedureparameters. Nee
sqlWriterTableType Geef de naam van het tabeltype op die moet worden gebruikt in de opgeslagen procedure. Met kopieeractiviteit worden de gegevens die worden verplaatst beschikbaar in een tijdelijke tabel met dit tabeltype. Opgeslagen procedurecode kan vervolgens de gegevens samenvoegen die worden gekopieerd met bestaande gegevens. Een tabeltypenaam. Nee

Voorbeeld

De pijplijn bevat een kopieeractiviteit die is geconfigureerd voor het gebruik van deze invoer- en uitvoergegevenssets en die elk uur moet worden uitgevoerd. In de JSON-definitie van de pijplijn wordt het brontype ingesteld op BlobSource en het sinktype is ingesteld op SqlSink.

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "AzureBlobtoSQL",
            "description": "Copy Activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureBlobInput"
            }],
            "outputs": [{
                "name": " SqlServerOutput "
            }],
            "typeProperties": {
                "source": {
                    "type": "BlobSource",
                    "blobColumnSeparators": ","
                },
                "sink": {
                    "type": "SqlSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel sql Server-connector voor meer informatie.

Sybase

Gekoppelde service

Als u een gekoppelde Sybase-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesSybase en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server Naam van de Sybase-server. Ja
database Naam van de Sybase-database. Ja
schema Naam van het schema in de database. Nee
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met de Sybase-database. Mogelijke waarden zijn: Anoniem, Basic en Windows. Ja
gebruikersnaam Geef de gebruikersnaam op als u basis- of Windows-verificatie gebruikt. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de on-premises Sybase-database. Ja

Voorbeeld

{
    "name": "OnPremSybaseLinkedService",
    "properties": {
        "type": "OnPremisesSybase",
        "typeProperties": {
            "server": "<server>",
            "database": "<database>",
            "schema": "<schema>",
            "authenticationType": "<authentication type>",
            "username": "<username>",
            "password": "<password>",
            "gatewayName": "<gatewayName>"
        }
    }
}

Zie het artikel over de Sybase-connector voor meer informatie.

Gegevensset

Als u een Sybase-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName De naam van de tabel in het Sybase Database-exemplaar waarnaar de gekoppelde service verwijst. Nee (als query van RelationalSource is opgegeven)

Voorbeeld

{
    "name": "SybaseDataSet",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "OnPremSybaseLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Sybase-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een Sybase-database, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Nee (als tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "CopySybaseToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "select * from DBA.Orders"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "inputs": [{
                "name": "SybaseDataSet"
            }],
            "outputs": [{
                "name": "AzureBlobSybaseDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "SybaseToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel over de Sybase-connector voor meer informatie.

Teradata

Gekoppelde service

Als u een gekoppelde Teradata-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesTeradata en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server Naam van de Teradata-server. Ja
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met de Teradata-database. Mogelijke waarden zijn: Anoniem, Basic en Windows. Ja
gebruikersnaam Geef de gebruikersnaam op als u basis- of Windows-verificatie gebruikt. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de on-premises Teradata-database. Ja

Voorbeeld

{
    "name": "OnPremTeradataLinkedService",
    "properties": {
        "type": "OnPremisesTeradata",
        "typeProperties": {
            "server": "<server>",
            "authenticationType": "<authentication type>",
            "username": "<username>",
            "password": "<password>",
            "gatewayName": "<gatewayName>"
        }
    }
}

Zie het artikel over de Teradata-connector voor meer informatie.

Gegevensset

Als u een Teradata Blob-gegevensset wilt definiëren, stelt u het type gegevensset in op RelationalTable. Er worden momenteel geen typeeigenschappen ondersteund voor de Teradata-gegevensset.

Voorbeeld

{
    "name": "TeradataDataSet",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "OnPremTeradataLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Teradata-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een Teradata-database, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Ja

Voorbeeld

{
    "name": "CopyTeradataToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "$$Text.Format('select * from MyTable where timestamp >= \\'{0:yyyy-MM-ddTHH:mm:ss}\\' AND timestamp < \\'{1:yyyy-MM-ddTHH:mm:ss}\\'', SliceStart, SliceEnd)"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "TeradataDataSet"
            }],
            "outputs": [{
                "name": "AzureBlobTeradataDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "TeradataToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "isPaused": false
    }
}

Zie het artikel over de Teradata-connector voor meer informatie.

Cassandra

Gekoppelde service

Als u een gekoppelde Cassandra-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesCassandra en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
host Een of meer IP-adressen of hostnamen van Cassandra-servers.

Geef een door komma's gescheiden lijst met IP-adressen of hostnamen op om gelijktijdig verbinding te maken met alle servers.
Ja
poort De TCP-poort die de Cassandra-server gebruikt om te luisteren naar clientverbindingen. Nee, standaardwaarde: 9042
authenticationType Basic of Anoniem Ja
gebruikersnaam Geef de gebruikersnaam op voor het gebruikersaccount. Ja, als authenticationType is ingesteld op Basic.
wachtwoord Geef het wachtwoord op voor het gebruikersaccount. Ja, als authenticationType is ingesteld op Basic.
gatewayName De naam van de gateway die wordt gebruikt om verbinding te maken met de on-premises Cassandra-database. Ja
encryptedCredential Referenties die zijn versleuteld door de gateway. Nee

Voorbeeld

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "OnPremisesCassandra",
        "typeProperties": {
            "authenticationType": "Basic",
            "host": "<cassandra server name or IP address>",
            "port": 9042,
            "username": "user",
            "password": "password",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Zie het artikel over de Cassandra-connector voor meer informatie.

Gegevensset

Als u een Cassandra-gegevensset wilt definiëren, stelt u het type van de gegevensset in op CassandraTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
keyspace Naam van de keyspace of het schema in de Cassandra-database. Ja (Als de query voor CassandraSource niet is gedefinieerd).
tableName Naam van de tabel in cassandra-database. Ja (Als de query voor CassandraSource niet is gedefinieerd).

Voorbeeld

{
    "name": "CassandraInput",
    "properties": {
        "linkedServiceName": "CassandraLinkedService",
        "type": "CassandraTable",
        "typeProperties": {
            "tableName": "mytable",
            "keySpace": "<key space>"
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Cassandra-connector voor meer informatie.

Cassandra-bron in kopieeractiviteit

Als u gegevens kopieert uit Cassandra, stelt u het brontype van de kopieeractiviteit in op CassandraSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-92-query of CQL-query. Zie CQL-verwijzing.

Wanneer u SQL-query gebruikt, geeft u de naam van de keyspace name.table op om de tabel weer te geven die u wilt opvragen.
Nee (als tableName en keyspace in de gegevensset zijn gedefinieerd).
consistencyLevel Het consistentieniveau geeft aan hoeveel replica's moeten reageren op een leesaanvraag voordat gegevens naar de clienttoepassing worden geretourneerd. Cassandra controleert het opgegeven aantal replica's voor gegevens om te voldoen aan de leesaanvraag. ONE, TWO, THREE, QUORUM, ALL, LOCAL_QUORUM, EACH_QUORUM, LOCAL_ONE. Zie Gegevensconsistentie configureren voor meer informatie. Nee. De standaardwaarde is ONE.

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "CassandraToAzureBlob",
            "description": "Copy from Cassandra to an Azure blob",
            "type": "Copy",
            "inputs": [{
                "name": "CassandraInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "CassandraSource",
                    "query": "select id, firstname, lastname from mykeyspace.mytable"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de Cassandra-connector voor meer informatie.

MongoDB

Gekoppelde service

Als u een gekoppelde MongoDB-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesMongoDB en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
server IP-adres of hostnaam van de MongoDB-server. Ja
poort TCP-poort die de MongoDB-server gebruikt om te luisteren naar clientverbindingen. Optioneel, standaardwaarde: 27017
authenticationType Basis, of Anoniem. Ja
gebruikersnaam Gebruikersaccount voor toegang tot MongoDB. Ja (als basisverificatie wordt gebruikt).
wachtwoord Het wachtwoord voor de gebruiker. Ja (als basisverificatie wordt gebruikt).
authSource De naam van de MongoDB-database die u wilt gebruiken om uw referenties voor verificatie te controleren. Optioneel (als basisverificatie wordt gebruikt). standaard: gebruikt het beheerdersaccount en de database die is opgegeven met behulp van de eigenschap databaseName.
Databasenaam Naam van de MongoDB-database waartoe u toegang wilt krijgen. Ja
gatewayName Naam van de gateway die toegang heeft tot het gegevensarchief. Ja
encryptedCredential Referenties die zijn versleuteld door de gateway. Optioneel

Voorbeeld

{
    "name": "OnPremisesMongoDbLinkedService",
    "properties": {
        "type": "OnPremisesMongoDb",
        "typeProperties": {
            "authenticationType": "<Basic or Anonymous>",
            "server": "< The IP address or host name of the MongoDB server >",
            "port": "<The number of the TCP port that the MongoDB server uses to listen for client connections.>",
            "username": "<username>",
            "password": "<password>",
            "authSource": "< The database that you want to use to check your credentials for authentication. >",
            "databaseName": "<database name>",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Zie het artikel over de MongoDB-connector voor meer informatie

Gegevensset

Als u een MongoDB-gegevensset wilt definiëren, stelt u het type van de gegevensset in op MongoDbCollection en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
collectionName Naam van de verzameling in mongoDB-database. Ja

Voorbeeld

{
    "name": "MongoDbInputDataset",
    "properties": {
        "type": "MongoDbCollection",
        "linkedServiceName": "OnPremisesMongoDbLinkedService",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true
    }
}

Zie het artikel over de MongoDB-connector voor meer informatie

MongoDB-bron in kopieeractiviteit

Als u gegevens kopieert uit MongoDB, stelt u het brontype van de kopieeractiviteit in op MongoDbSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-92-queryreeks. Bijvoorbeeld: select * from MyTable. Nee (als collectionName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "CopyMongoDBToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "MongoDbSource",
                    "query": "select * from MyTable"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "MongoDbInputDataset"
            }],
            "outputs": [{
                "name": "AzureBlobOutputDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "MongoDBToAzureBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel over de MongoDB-connector voor meer informatie

Amazon S3

Gekoppelde service

Als u een gekoppelde Amazon S3-service wilt definiëren, stelt u het type van de gekoppelde service in op AwsAccessKey en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Toegestane waarden Vereist
accessKeyID Id van de geheime toegangssleutel. tekenreeks Ja
secretAccessKey De geheime toegangssleutel zelf. Versleutelde geheime tekenreeks Ja

Voorbeeld

{
    "name": "AmazonS3LinkedService",
    "properties": {
        "type": "AwsAccessKey",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": "<secret access key>"
        }
    }
}

Zie het artikel over de Amazon S3-connector voor meer informatie.

Gegevensset

Als u een Amazon S3-gegevensset wilt definiëren, stelt u het type van de gegevensset in op AmazonS3 en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Toegestane waarden Vereist
bucketName De naam van de S3-bucket. Tekenreeks Ja
sleutel De S3-objectsleutel. Tekenreeks Nee
Voorvoegsel Voorvoegsel voor de S3-objectsleutel. Objecten waarvan de sleutels beginnen met dit voorvoegsel, worden geselecteerd. Is alleen van toepassing wanneer de sleutel leeg is. Tekenreeks Nee
versie De versie van het S3-object als S3-versiebeheer is ingeschakeld. Tekenreeks Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate. De ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee

Notitie

bucketName + key geeft de locatie van het S3-object aan waar bucket de hoofdcontainer is voor S3-objecten en -sleutel is het volledige pad naar het S3-object.

Voorbeeld: Voorbeeldgegevensset met voorvoegsel

{
    "name": "dataset-s3",
    "properties": {
        "type": "AmazonS3",
        "linkedServiceName": "link- testS3",
        "typeProperties": {
            "prefix": "testFolder/test",
            "bucketName": "<S3 bucket name>",
            "format": {
                "type": "OrcFormat"
            }
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true
    }
}

Voorbeeld: Voorbeeldgegevensset (met versie)

{
    "name": "dataset-s3",
    "properties": {
        "type": "AmazonS3",
        "linkedServiceName": "link- testS3",
        "typeProperties": {
            "key": "testFolder/test.orc",
            "bucketName": "<S3 bucket name>",
            "version": "XXXXXXXXXczm0CJajYkHf0_k6LhBmkcL",
            "format": {
                "type": "OrcFormat"
            }
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true
    }
}

Voorbeeld: Dynamische paden voor S3

In het voorbeeld gebruiken we vaste waarden voor sleutel- en bucketName-eigenschappen in de Amazon S3-gegevensset.

"key": "testFolder/test.orc",
"bucketName": "<S3 bucket name>",

U kunt Data Factory de sleutel en bucketName dynamisch laten berekenen tijdens runtime met behulp van systeemvariabelen zoals SliceStart.

"key": "$$Text.Format('{0:MM}/{0:dd}/test.orc', SliceStart)"
"bucketName": "$$Text.Format('{0:yyyy}', SliceStart)"

U kunt hetzelfde doen voor de voorvoegseleigenschap van een Amazon S3-gegevensset. Zie Data Factory-functies en systeemvariabelen voor een lijst met ondersteunde functies en variabelen.

Zie het artikel over de Amazon S3-connector voor meer informatie.

Bestandssysteembron in kopieeractiviteit

Als u gegevens kopieert van Amazon S3, stelt u het brontype van de kopieeractiviteit in op FileSystemSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Hiermee geeft u op of S3-objecten recursief moeten worden weergegeven onder de map. waar/onwaar Nee

Voorbeeld

{
    "name": "CopyAmazonS3ToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "FileSystemSource",
                    "recursive": true
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "AmazonS3InputDataset"
            }],
            "outputs": [{
                "name": "AzureBlobOutputDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "AmazonS3ToBlob"
        }],
        "start": "2016-08-08T18:00:00",
        "end": "2016-08-08T19:00:00"
    }
}

Zie het artikel over de Amazon S3-connector voor meer informatie.

Bestandssysteem

Gekoppelde service

U kunt een on-premises bestandssysteem koppelen aan een Azure-gegevensfactory met de gekoppelde on-premises bestandsserverservice . De volgende tabel bevat beschrijvingen voor JSON-elementen die specifiek zijn voor de gekoppelde on-premises bestandsserverservice.

Eigenschap Beschrijving Vereist
type Zorg ervoor dat de typeeigenschap is ingesteld op OnPremisesFileServer. Ja
host Hiermee geeft u het hoofdpad van de map die u wilt kopiëren. Gebruik het escape-teken ' \ ' voor speciale tekens in de tekenreeks. Zie Voorbeeld van gekoppelde service- en gegevenssetdefinities voor voorbeelden. Ja
userid Geef de id op van de gebruiker die toegang heeft tot de server. Nee (als u encryptedCredential kiest)
wachtwoord Geef het wachtwoord op voor de gebruiker (userid). Nee (als u encryptedCredential kiest
encryptedCredential Geef de versleutelde referenties op die u kunt ophalen door de New-AzDataFactoryEncryptValue cmdlet uit te voeren. Nee (als u ervoor kiest om gebruikers-id en wachtwoord op te geven in tekst zonder opmaak)
gatewayName Hiermee geeft u de naam op van de gateway die Data Factory moet gebruiken om verbinding te maken met de on-premises bestandsserver. Ja

Voorbeeldmappaddefinities

Scenario Host in gekoppelde servicedefinitie folderPath in gegevenssetdefinitie
Lokale map op Data Management Gateway-computer:

Voorbeelden: D:\* of D:\folder\submap\*
D:\\ (voor Data Management Gateway 2.0 en latere versies)

localhost (voor eerdere versies dan Data Management Gateway 2.0)
.\\ of map\\submap (voor Data Management Gateway 2.0 en latere versies)

D:\\ of D:\folder\\submap (voor gatewayversie lager dan 2.0)
Externe gedeelde map:

Voorbeelden: \\myserver\share\* of \\myserver\share\folder\submap\*
\\\\myserver\\share .\\ of map\\submap

Voorbeeld: gebruikersnaam en wachtwoord gebruiken in tekst zonder opmaak

{
    "Name": "OnPremisesFileServerLinkedService",
    "properties": {
        "type": "OnPremisesFileServer",
        "typeProperties": {
            "host": "\\\\Contosogame-Asia",
            "userid": "Admin",
            "password": "123456",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: Versleuteldecredential gebruiken

{
    "Name": " OnPremisesFileServerLinkedService ",
    "properties": {
        "type": "OnPremisesFileServer",
        "typeProperties": {
            "host": "D:\\",
            "encryptedCredential": "WFuIGlzIGRpc3Rpbmd1aXNoZWQsIG5vdCBvbmx5IGJ5xxxxxxxxxxxxxxxxx",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Zie het artikel over de bestandssysteemconnector voor meer informatie.

Gegevensset

Als u een bestandssysteemgegevensset wilt definiëren, stelt u het type van de gegevensset in op FileShare en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
folderPath Hiermee geeft u het subpad naar de map. Gebruik het escapeteken '\' voor speciale tekens in de tekenreeks. Zie Voorbeeld van gekoppelde service- en gegevenssetdefinities voor voorbeelden.

U kunt deze eigenschap combineren met partitionBy om mappaden te hebben op basis van de begin- en einddatum van segmenten.
Ja
fileName Geef de naam op van het bestand in de mapPath als u wilt dat de tabel naar een specifiek bestand in de map verwijst. Als u geen waarde voor deze eigenschap opgeeft, verwijst de tabel naar alle bestanden in de map.

Wanneer fileName niet is opgegeven voor een uitvoergegevensset, heeft de naam van het gegenereerde bestand de volgende indeling:

Data.<Guid>.txt (Voorbeeld: Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt)
Nee
fileFilter Geef een filter op dat moet worden gebruikt om een subset van bestanden te selecteren in de folderPath in plaats van alle bestanden.

Toegestane waarden zijn: * (meerdere tekens) en ? (één teken).

Voorbeeld 1: "fileFilter": "*.log"
Voorbeeld 2: "fileFilter": 2016-1-?.txt"

Houd er rekening mee dat FileFilter van toepassing is op een invoergegevensset voor FileShare.
Nee
partitionedBy U kunt partitionedBy gebruiken om een dynamische folderPath/fileName op te geven voor tijdreeksgegevens. Een voorbeeld is folderPath geparameteriseerd voor elk uur gegevens. Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate; en ondersteunde niveaus zijn: Optimaal en Snelst. zie bestands- en compressieindelingen in Azure Data Factory. Nee

Notitie

U kunt fileName en fileFilter niet tegelijk gebruiken.

Voorbeeld

{
    "name": "OnpremisesFileSystemInput",
    "properties": {
        "type": " FileShare",
        "linkedServiceName": " OnPremisesFileServerLinkedService ",
        "typeProperties": {
            "folderPath": "mysharedfolder/yearno={Year}/monthno={Month}/dayno={Day}",
            "fileName": "{Hour}.csv",
            "partitionedBy": [{
                "name": "Year",
                "value": {
                    "type": "DateTime",
                    "date": "SliceStart",
                        "format": "yyyy"
                }
            }, {
                "name": "Month",
                "value": {
                    "type": "DateTime",
                    "date": "SliceStart",
                    "format": "MM"
                }
            }, {
                "name": "Day",
                "value": {
                    "type": "DateTime",
                    "date": "SliceStart",
                    "format": "dd"
                }
            }, {
                "name": "Hour",
                "value": {
                    "type": "DateTime",
                    "date": "SliceStart",
                    "format": "HH"
                }
            }]
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de bestandssysteemconnector voor meer informatie.

Bestandssysteembron in kopieeractiviteit

Als u gegevens kopieert uit bestandssysteem, stelt u het brontype van de kopieeractiviteit in op FileSystemSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Geeft aan of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Waar, Onwaar (standaard) Nee

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2015-06-01T18:00:00",
        "end": "2015-06-01T19:00:00",
        "description": "Pipeline for copy activity",
        "activities": [{
            "name": "OnpremisesFileSystemtoBlob",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "OnpremisesFileSystemInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "FileSystemSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
            "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de bestandssysteemconnector voor meer informatie.

Sink van bestandssysteem in kopieeractiviteit

Als u gegevens naar bestandssysteem kopieert, stelt u het sinktype van de kopieeractiviteit in op FileSystemSink en geeft u de volgende eigenschappen op in de sectie Sink :

Eigenschap Beschrijving Toegestane waarden Vereist
copyBehavior Definieert het kopieergedrag wanneer de bron BlobSource of Bestandssysteem is. PreserveHierarchy: Behoudt de bestandshiërarchie in de doelmap. Dat wil gezegd: het relatieve pad van het bronbestand naar de bronmap is hetzelfde als het relatieve pad van het doelbestand naar de doelmap.

FlattenHierarchy: Alle bestanden uit de bronmap worden gemaakt op het eerste niveau van de doelmap. De doelbestanden worden gemaakt met een automatisch gegenereerde naam.

MergeFiles: Hiermee worden alle bestanden uit de bronmap samengevoegd tot één bestand. Als de bestandsnaam/blobnaam is opgegeven, is de naam van het samengevoegde bestand de opgegeven naam. Anders is het een automatisch gegenereerde bestandsnaam.
Nee

auto-

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2015-06-01T18:00:00",
        "end": "2015-06-01T20:00:00",
        "description": "pipeline for copy activity",
        "activities": [{
            "name": "AzureSQLtoOnPremisesFile",
            "description": "copy activity",
            "type": "Copy",
            "inputs": [{
                "name": "AzureSQLInput"
            }],
            "outputs": [{
                "name": "OnpremisesFileSystemOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "SqlSource",
                    "SqlReaderQuery": "$$Text.Format('select * from MyTable where timestampcolumn >= \\'{0:yyyy-MM-dd}\\' AND timestampcolumn < \\'{1:yyyy-MM-dd}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "FileSystemSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 3,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de bestandssysteemconnector voor meer informatie.

FTP

Gekoppelde service

Als u een gekoppelde FTP-service wilt definiëren, stelt u het type van de gekoppelde service in op FtpServer en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist Standaard
host Naam of IP-adres van de FTP-server Ja  
authenticationType Verificatietype opgeven Ja Basic, Anoniem
gebruikersnaam Gebruiker die toegang heeft tot de FTP-server Nee  
wachtwoord Wachtwoord voor de gebruiker (gebruikersnaam) Nee  
encryptedCredential Versleutelde referenties voor toegang tot de FTP-server Nee  
gatewayName Naam van de Data Management Gateway om verbinding te maken met een on-premises FTP-server Nee  
poort Poort waarop de FTP-server luistert Nee 21
enableSsl Opgeven of FTP via SSL/TLS-kanaal moet worden gebruikt Nee true
enableServerCertificateValidation Opgeven of server-TLS/SSL-certificaatvalidatie moet worden ingeschakeld bij het gebruik van FTP via SSL/TLS-kanaal Nee true

Voorbeeld: Anonieme verificatie gebruiken

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
            "typeProperties": {
            "authenticationType": "Anonymous",
            "host": "myftpserver.com"
        }
    }
}

Voorbeeld: Gebruikersnaam en wachtwoord gebruiken in tekst zonder opmaak voor basisverificatie

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "myftpserver.com",
            "authenticationType": "Basic",
            "username": "Admin",
            "password": "123456"
        }
    }
}

Voorbeeld: Poort gebruiken, enableSsl, enableServerCertificateValidation

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "myftpserver.com",
            "authenticationType": "Basic",
            "username": "Admin",
            "password": "123456",
            "port": "21",
            "enableSsl": true,
            "enableServerCertificateValidation": true
        }
    }
}

Voorbeeld: EncryptedCredential gebruiken voor verificatie en gateway

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "myftpserver.com",
            "authenticationType": "Basic",
            "encryptedCredential": "xxxxxxxxxxxxxxxxx",
            "gatewayName": "<onpremgateway>"
        }
      }
}

Zie het artikel ftp-connector voor meer informatie.

Gegevensset

Als u een FTP-gegevensset wilt definiëren, stelt u het type van de gegevensset in op FileShare en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
folderPath Subpad naar de map. Gebruik escape-teken ' \ ' voor speciale tekens in de tekenreeks. Zie Voorbeeld van gekoppelde service- en gegevenssetdefinities voor voorbeelden.

U kunt deze eigenschap combineren met partitionBy om mappaden te hebben op basis van de begin- en einddatum van segmenten.
Ja
fileName Geef de naam op van het bestand in de mapPath als u wilt dat de tabel naar een specifiek bestand in de map verwijst. Als u geen waarde voor deze eigenschap opgeeft, verwijst de tabel naar alle bestanden in de map.

Wanneer fileName niet is opgegeven voor een uitvoergegevensset, heeft de naam van het gegenereerde bestand de volgende indeling:

Data.<Guid>.txt (Voorbeeld: Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt)
Nee
fileFilter Geef een filter op dat moet worden gebruikt voor het selecteren van een subset van bestanden in de folderPath in plaats van alle bestanden.

Toegestane waarden zijn: * (meerdere tekens) en ? (één teken).

Voorbeelden 1: "fileFilter": "*.log"
Voorbeeld 2: "fileFilter": 2016-1-?.txt"

fileFilter is van toepassing op een gegevensset voor bestandsshare-invoer. Deze eigenschap wordt niet ondersteund met HDFS.
Nee
partitionedBy partitionedBy kan worden gebruikt om een dynamisch folderPath, bestandsnaam voor tijdreeksgegevens op te geven. Bijvoorbeeld folderPath geparameteriseerd voor elk uur aan gegevens. Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate; en ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee
useBinaryTransfer Geef op of de binaire overdrachtsmodus wordt gebruikt. Waar voor binaire modus en false ASCII. Standaardwaarde: Waar. Deze eigenschap kan alleen worden gebruikt wanneer het gekoppelde gekoppelde servicetype van het type is: FtpServer. Nee

Notitie

bestandsnaam en fileFilter kunnen niet tegelijkertijd worden gebruikt.

Voorbeeld

{
    "name": "FTPFileInput",
    "properties": {
        "type": "FileShare",
        "linkedServiceName": "FTPLinkedService",
        "typeProperties": {
            "folderPath": "<path to shared folder>",
            "fileName": "test.csv",
            "useBinaryTransfer": true
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

Zie het artikel ftp-connector voor meer informatie.

Bestandssysteembron in kopieeractiviteit

Als u gegevens kopieert van een FTP-server, stelt u het brontype van de kopieeractiviteit in op FileSystemSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Geeft aan of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Waar, onwaar (standaard) Nee

Voorbeeld

{
    "name": "pipeline",
    "properties": {
        "activities": [{
            "name": "FTPToBlobCopy",
            "inputs": [{
                "name": "FtpFileInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "FileSystemSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "NewestFirst",
                "retry": 1,
                "timeout": "00:05:00"
            }
        }],
        "start": "2016-08-24T18:00:00",
        "end": "2016-08-24T19:00:00"
    }
}

Zie het artikel ftp-connector voor meer informatie.

HDFS

Gekoppelde service

Als u een gekoppelde HDFS-service wilt definiëren, stelt u het type van de gekoppelde service in op Hdfs en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op: Hdfs Ja
URL URL naar de HDFS Ja
authenticationType Anoniem of Windows.

Als u Kerberos-verificatie voor HDFS-connector wilt gebruiken, raadpleegt u deze sectie om uw on-premises omgeving dienovereenkomstig in te stellen.
Ja
userName Gebruikersnaam voor Windows-verificatie. Ja (voor Windows-verificatie)
wachtwoord Wachtwoord voor Windows-verificatie. Ja (voor Windows-verificatie)
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de HDFS. Ja
encryptedCredential New-AzDataFactoryEncryptValue-uitvoer van de toegangsreferentie. Nee

Voorbeeld: Anonieme verificatie gebruiken

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "authenticationType": "Anonymous",
            "userName": "hadoop",
            "url": "http://<machine>:50070/webhdfs/v1/",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: Windows-verificatie gebruiken

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "authenticationType": "Windows",
            "userName": "Administrator",
            "password": "password",
            "url": "http://<machine>:50070/webhdfs/v1/",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Zie het artikel over de HDFS-connector voor meer informatie.

Gegevensset

Als u een HDFS-gegevensset wilt definiëren, stelt u het type van de gegevensset in op FileShare en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
folderPath Pad naar de map. Voorbeeld: myfolder

Gebruik escape-teken ' \ ' voor speciale tekens in de tekenreeks. Bijvoorbeeld: voor map\submap geeft u map\\submap op en voor d:\samplefolder geeft u d:\samplefolder op.

U kunt deze eigenschap combineren met partitionBy om mappaden te hebben op basis van de begin- en einddatum van segmenten.
Ja
fileName Geef de naam op van het bestand in folderPath als u wilt dat de tabel naar een specifiek bestand in de map verwijst. Als u geen waarde voor deze eigenschap opgeeft, verwijst de tabel naar alle bestanden in de map.

Wanneer fileName niet is opgegeven voor een uitvoergegevensset, heeft de naam van het gegenereerde bestand de volgende indeling:

Data.<Guid>.txt (bijvoorbeeld: Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt
Nee
partitionedBy partitionedBy kan worden gebruikt om een dynamisch folderPath, bestandsnaam voor tijdreeksgegevens op te geven. Voorbeeld: folderPath geparameteriseerd voor elk uur aan gegevens. Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate. Ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee

Notitie

bestandsnaam en fileFilter kunnen niet tegelijkertijd worden gebruikt.

Voorbeeld

{
    "name": "InputDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName": "HDFSLinkedService",
        "typeProperties": {
            "folderPath": "DataTransfer/UnitTest/"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

Zie het artikel over de HDFS-connector voor meer informatie.

Bestandssysteembron in kopieeractiviteit

Als u gegevens kopieert vanuit HDFS, stelt u het brontype van de kopieeractiviteit in op FileSystemSource en geeft u de volgende eigenschappen op in de bronsectie :

FileSystemSource ondersteunt de volgende eigenschappen:

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Geeft aan of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Waar, Onwaar (standaard) Nee

Voorbeeld

{
    "name": "pipeline",
    "properties": {
        "activities": [{
            "name": "HdfsToBlobCopy",
            "inputs": [{
                "name": "InputDataset"
            }],
            "outputs": [{
                "name": "OutputDataset"
            }],
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "FileSystemSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "NewestFirst",
                "retry": 1,
                "timeout": "00:05:00"
            }
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel over de HDFS-connector voor meer informatie.

SFTP

Gekoppelde service

Als u een gekoppelde SFTP-service wilt definiëren, stelt u het type van de gekoppelde service in op Sftp en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
host Naam of IP-adres van de SFTP-server. Ja
poort Poort waarop de SFTP-server luistert. De standaardwaarde is: 21 Nee
authenticationType Geef het verificatietype op. Toegestane waarden: Basic, SshPublicKey.

Raadpleeg de secties Basisverificatie gebruiken en Verificatiesecties voor openbare SSH-sleutels gebruiken voor respectievelijk meer eigenschappen en JSON-voorbeelden.
Ja
skipHostKeyValidation Geef op of de validatie van hostsleutels moet worden overgeslagen. Nee. De standaardwaarde: false
hostKeyFingerprint Geef de vingerafdruk van de hostsleutel op. Ja als de skipHostKeyValidation optie is ingesteld op false.
gatewayName Naam van de Data Management Gateway om verbinding te maken met een on-premises SFTP-server. Ja als u gegevens kopieert van een on-premises SFTP-server.
encryptedCredential Versleutelde referenties voor toegang tot de SFTP-server. Automatisch gegenereerd wanneer u basisverificatie (gebruikersnaam + wachtwoord) of SshPublicKey-verificatie (gebruikersnaam + privésleutelpad of -inhoud) opgeeft in de wizard Kopiëren of het pop-upvenster ClickOnce. Nee. Pas alleen toe bij het kopiëren van gegevens van een on-premises SFTP-server.

Voorbeeld: Basisverificatie gebruiken

Als u basisverificatie wilt gebruiken, stelt u in authenticationType als Basicen geeft u de volgende eigenschappen op naast de algemene sfTP-connector die in de laatste sectie zijn geïntroduceerd:

Eigenschap Beschrijving Vereist
gebruikersnaam Gebruiker die toegang heeft tot de SFTP-server. Ja
wachtwoord Wachtwoord voor de gebruiker (gebruikersnaam). Ja
{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<SFTP server name or IP address>",
            "port": 22,
            "authenticationType": "Basic",
            "username": "xxx",
            "password": "xxx",
            "skipHostKeyValidation": false,
            "hostKeyFingerPrint": "ssh-rsa 2048 xx:00:00:00:xx:00:x0:0x:0x:0x:0x:00:00:x0:x0:00",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: Basisverificatie met versleutelde referenties

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<FTP server name or IP address>",
            "port": 22,
            "authenticationType": "Basic",
            "username": "xxx",
            "encryptedCredential": "xxxxxxxxxxxxxxxxx",
            "skipHostKeyValidation": false,
            "hostKeyFingerPrint": "ssh-rsa 2048 xx:00:00:00:xx:00:x0:0x:0x:0x:0x:00:00:x0:x0:00",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Verificatie van openbare SSH-sleutels gebruiken:

Als u basisverificatie wilt gebruiken, stelt u in authenticationType als SshPublicKeyen geeft u de volgende eigenschappen op naast de algemene sfTP-connector die in de laatste sectie zijn geïntroduceerd:

Eigenschap Beschrijving Vereist
gebruikersnaam Gebruiker die toegang heeft tot de SFTP-server Ja
privateKeyPath Geef het absolute pad op naar het bestand met de persoonlijke sleutel waartoe de gateway toegang heeft. Geef de privateKeyPath of privateKeyContent.

Pas alleen toe bij het kopiëren van gegevens van een on-premises SFTP-server.
privateKeyContent Een geserialiseerde tekenreeks van de inhoud van de persoonlijke sleutel. De wizard Kopiëren kan het bestand met de persoonlijke sleutel lezen en de inhoud van de persoonlijke sleutel automatisch extraheren. Als u een ander hulpprogramma/SDK gebruikt, gebruikt u in plaats daarvan de eigenschap privateKeyPath. Geef de privateKeyPath of privateKeyContent.
Passphrase Geef de wachtwoordzin/het wachtwoord op om de persoonlijke sleutel te ontsleutelen als het sleutelbestand wordt beveiligd met een wachtwoordzin. Ja als het bestand met de persoonlijke sleutel wordt beveiligd met een wachtwoordzin.
{
    "name": "SftpLinkedServiceWithPrivateKeyPath",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<FTP server name or IP address>",
            "port": 22,
            "authenticationType": "SshPublicKey",
            "username": "xxx",
            "privateKeyPath": "D:\\privatekey_openssh",
            "passPhrase": "xxx",
            "skipHostKeyValidation": true,
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: SshPublicKey-verificatie met persoonlijke-sleutelinhoud

{
    "name": "SftpLinkedServiceWithPrivateKeyContent",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "mysftpserver.westus.cloudapp.azure.com",
            "port": 22,
            "authenticationType": "SshPublicKey",
            "username": "xxx",
            "privateKeyContent": "<base64 string of the private key content>",
            "passPhrase": "xxx",
            "skipHostKeyValidation": true
        }
    }
}

Zie het artikel sftp-connector voor meer informatie.

Gegevensset

Als u een SFTP-gegevensset wilt definiëren, stelt u het type van de gegevensset in op FileShare en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
folderPath Subpad naar de map. Gebruik escape-teken ' \ ' voor speciale tekens in de tekenreeks. Zie Voorbeeld van gekoppelde service- en gegevenssetdefinities voor voorbeelden.

U kunt deze eigenschap combineren met partitionBy om mappaden te hebben op basis van de begin- en einddatum van segmenten.
Ja
fileName Geef de naam op van het bestand in de mapPath als u wilt dat de tabel naar een specifiek bestand in de map verwijst. Als u geen waarde voor deze eigenschap opgeeft, verwijst de tabel naar alle bestanden in de map.

Wanneer fileName niet is opgegeven voor een uitvoergegevensset, heeft de naam van het gegenereerde bestand de volgende indeling:

Data.<Guid>.txt (Voorbeeld: Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt)
Nee
fileFilter Geef een filter op dat moet worden gebruikt om een subset van bestanden te selecteren in de folderPath in plaats van alle bestanden.

Toegestane waarden zijn: * (meerdere tekens) en ? (één teken).

Voorbeelden 1: "fileFilter": "*.log"
Voorbeeld 2: "fileFilter": 2016-1-?.txt"

fileFilter is van toepassing op een gegevensset voor bestandsshareinvoer. Deze eigenschap wordt niet ondersteund met HDFS.
Nee
partitionedBy partitionedBy kan worden gebruikt om een dynamisch folderPath op te geven, bestandsnaam voor tijdreeksgegevens. MapPath is bijvoorbeeld geparameteriseerd voor elk uur gegevens. Nee
indeling De volgende indelingstypen worden ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.

Als u bestanden als zodanig wilt kopiëren tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate. Ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee
useBinaryTransfer Geef op of de binaire overdrachtsmodus wordt gebruikt. Waar voor binaire modus en false ASCII. Standaardwaarde: Waar. Deze eigenschap kan alleen worden gebruikt wanneer het gekoppelde servicetype van het type is: FtpServer. Nee

Notitie

bestandsnaam en fileFilter kunnen niet tegelijkertijd worden gebruikt.

Voorbeeld

{
    "name": "SFTPFileInput",
    "properties": {
        "type": "FileShare",
        "linkedServiceName": "SftpLinkedService",
        "typeProperties": {
            "folderPath": "<path to shared folder>",
            "fileName": "test.csv"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

Zie het artikel sftp-connector voor meer informatie.

Bestandssysteembron in kopieeractiviteit

Als u gegevens kopieert van een SFTP-bron, stelt u het brontype van de kopieeractiviteit in op FileSystemSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
Recursieve Geeft aan of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Waar, Onwaar (standaard) Nee

Voorbeeld

{
    "name": "pipeline",
    "properties": {
        "activities": [{
            "name": "SFTPToBlobCopy",
            "inputs": [{
                "name": "SFTPFileInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "FileSystemSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "NewestFirst",
                "retry": 1,
                "timeout": "00:05:00"
            }
        }],
        "start": "2017-02-20T18:00:00",
        "end": "2017-02-20T19:00:00"
    }
}

Zie het artikel sftp-connector voor meer informatie.

HTTP

Gekoppelde service

Als u een gekoppelde HTTP-service wilt definiëren, stelt u het type van de gekoppelde service in op Http en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
url Basis-URL naar de webserver Ja
authenticationType Hiermee geeft u het verificatietype op. Toegestane waarden zijn: Anoniem, Basic, Digest, Windows, ClientCertificate.

Raadpleeg secties onder deze tabel voor respectievelijk meer eigenschappen en JSON-voorbeelden voor deze verificatietypen.
Ja
enableServerCertificateValidation Opgeven of server-TLS/SSL-certificaatvalidatie moet worden ingeschakeld als de bron HTTPS-webserver is Nee, standaard is waar
gatewayName Naam van de Data Management Gateway om verbinding te maken met een on-premises HTTP-bron. Ja als u gegevens kopieert vanuit een on-premises HTTP-bron.
encryptedCredential Versleutelde referenties voor toegang tot het HTTP-eindpunt. Automatisch gegenereerd wanneer u de verificatiegegevens configureert in de wizard Kopiëren of het pop-upvenster ClickOnce. Nee. Pas alleen toe bij het kopiëren van gegevens van een on-premises HTTP-server.

Voorbeeld: Basisverificatie, Samenvatting of Windows-verificatie gebruiken

Stel authenticationType deze in als Basic, Digestof Windows, en geef de volgende eigenschappen op naast de algemene HTTP-connector die hierboven zijn geïntroduceerd:

Eigenschap Beschrijving Vereist
gebruikersnaam Gebruikersnaam voor toegang tot het HTTP-eindpunt. Ja
wachtwoord Wachtwoord voor de gebruiker (gebruikersnaam). Ja
{
    "name": "HttpLinkedService",
    "properties": {
        "type": "Http",
        "typeProperties": {
            "authenticationType": "basic",
            "url": "https://en.wikipedia.org/wiki/",
            "userName": "user name",
            "password": "password"
        }
    }
}

Voorbeeld: ClientCertificate-verificatie gebruiken

Als u basisverificatie wilt gebruiken, stelt u in authenticationType als ClientCertificateen geeft u de volgende eigenschappen op naast de algemene http-connector die hierboven zijn geïntroduceerd:

Eigenschap Beschrijving Vereist
embeddedCertData De met Base64 gecodeerde inhoud van binaire gegevens van het PFX-bestand (Personal Information Exchange). Geef de embeddedCertData of certThumbprint.
certThumbprint De vingerafdruk van het certificaat dat is geïnstalleerd op het certificaatarchief van uw gatewaycomputer. Pas alleen toe bij het kopiëren van gegevens uit een on-premises HTTP-bron. Geef de embeddedCertData of certThumbprint.
wachtwoord Wachtwoord dat is gekoppeld aan het certificaat. Nee

Als u voor verificatie gebruikt certThumbprint en het certificaat is geïnstalleerd in het persoonlijke archief van de lokale computer, moet u de leesmachtiging verlenen aan de gatewayservice:

  1. Start Microsoft Management Console (MMC). Voeg de module Certificaten toe die is gericht op de lokale computer.
  2. Vouw Certificaten, Persoonlijk en klik op Certificaten.
  3. Klik met de rechtermuisknop op het certificaat in het persoonlijke archief en selecteer Alle privésleutels beheren>...
  4. Voeg op het tabblad Beveiliging het gebruikersaccount toe waaronder Data Management Gateway Host Service wordt uitgevoerd met leestoegang tot het certificaat.

Voorbeeld: clientcertificaat gebruiken: Deze gekoppelde service koppelt uw data factory aan een on-premises HTTP-webserver. Er wordt een clientcertificaat gebruikt dat is geïnstalleerd op de computer waarop Data Management Gateway is geïnstalleerd.

{
    "name": "HttpLinkedService",
    "properties": {
        "type": "Http",
        "typeProperties": {
            "authenticationType": "ClientCertificate",
            "url": "https://en.wikipedia.org/wiki/",
            "certThumbprint": "thumbprint of certificate",
            "gatewayName": "gateway name"
        }
    }
}

Voorbeeld: clientcertificaat gebruiken in een bestand

Deze gekoppelde service koppelt uw data factory aan een on-premises HTTP-webserver. Er wordt een clientcertificaatbestand op de computer gebruikt waarop Data Management Gateway is geïnstalleerd.

{
    "name": "HttpLinkedService",
    "properties": {
        "type": "Http",
        "typeProperties": {
            "authenticationType": "ClientCertificate",
            "url": "https://en.wikipedia.org/wiki/",
            "embeddedCertData": "base64 encoded cert data",
            "password": "password of cert"
        }
    }
}

Zie het artikel over de HTTP-connector voor meer informatie.

Gegevensset

Als u een HTTP-gegevensset wilt definiëren, stelt u het type van de gegevensset in op Http en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
relativeUrl Een relatieve URL naar de resource die de gegevens bevat. Wanneer het pad niet is opgegeven, wordt alleen de URL gebruikt die is opgegeven in de definitie van de gekoppelde service.

Als u dynamische URL wilt maken, kunt u Data Factory-functies en systeemvariabelen gebruiken, bijvoorbeeld: "relativeUrl": "$$Text.Format('/my/report?month={0:yyyy}-{0:MM}&fmt=csv', SliceStart)".
Nee
requestMethod Http-methode. Toegestane waarden zijn GET of POST. Nee. De standaardinstelling is GET.
additionalHeaders Aanvullende HTTP-aanvraagheaders. Nee
requestBody Hoofdtekst voor HTTP-aanvraag. Nee
indeling Als u alleen de gegevens van het HTTP-eindpunt wilt ophalen zonder deze te parseren, slaat u deze indelingsinstellingen over.

Als u de HTTP-antwoordinhoud tijdens het kopiëren wilt parseren, worden de volgende indelingstypen ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Zie de secties Text Format, Json Format, Avro Format, Orc Format en Parquet Format voor meer informatie.
Nee
compressie Geef het type en het compressieniveau voor de gegevens op. Ondersteunde typen zijn: GZip, Deflate, BZip2 en ZipDeflate. Ondersteunde niveaus zijn: Optimaal en Snelst. Zie Bestands- en compressieindelingen in Azure Data Factory voor meer informatie. Nee

Voorbeeld: de METHODE GET (standaard) gebruiken

{
    "name": "HttpSourceDataInput",
    "properties": {
        "type": "Http",
        "linkedServiceName": "HttpLinkedService",
        "typeProperties": {
            "relativeUrl": "XXX/test.xml",
            "additionalHeaders": "Connection: keep-alive\nUser-Agent: Mozilla/5.0\n"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

Voorbeeld: de POST-methode gebruiken

{
    "name": "HttpSourceDataInput",
    "properties": {
        "type": "Http",
        "linkedServiceName": "HttpLinkedService",
        "typeProperties": {
            "relativeUrl": "/XXX/test.xml",
            "requestMethod": "Post",
            "requestBody": "body for POST HTTP request"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

Zie het artikel over de HTTP-connector voor meer informatie.

HTTP-bron in kopieeractiviteit

Als u gegevens kopieert uit een HTTP-bron, stelt u het brontype van de kopieeractiviteit in op HttpSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Vereist
httpRequestTimeout De time-out (TimeSpan) voor de HTTP-aanvraag om een antwoord te krijgen. Het is de time-out voor het ophalen van een antwoord, niet de time-out voor het lezen van antwoordgegevens. Nee. Standaardwaarde: 00:01:40

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "HttpSourceToAzureBlob",
            "description": "Copy from an HTTP source to an Azure blob",
            "type": "Copy",
            "inputs": [{
                "name": "HttpSourceDataInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "HttpSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel over de HTTP-connector voor meer informatie.

OData

Gekoppelde service

Als u een gekoppelde OData-service wilt definiëren, stelt u het type van de gekoppelde service in op OData en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
url Url van de OData-service. Ja
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met de OData-bron.

Voor OData in de cloud zijn mogelijke waarden Anoniem, Basic en OAuth (let op: Azure Data Factory biedt momenteel alleen ondersteuning voor OAuth op basis van Azure Active Directory).

Voor on-premises OData zijn mogelijke waarden Anoniem, Basic en Windows.
Ja
gebruikersnaam Geef de gebruikersnaam op als u basisverificatie gebruikt. Ja (alleen als u basisverificatie gebruikt)
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Ja (alleen als u basisverificatie gebruikt)
authorizedCredential Als u OAuth gebruikt, klikt u op de knop Autoriseren in de wizard Gegevensfactory kopiëren of Editor en voert u uw referenties in. De waarde van deze eigenschap wordt automatisch gegenereerd. Ja (alleen als u OAuth-verificatie gebruikt)
gatewayName De naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de on-premises OData-service. Geef alleen op als u gegevens kopieert uit een on-premises OData-bron. Nee

Voorbeeld: basisverificatie gebruiken

{
    "name": "inputLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "https://services.odata.org/OData/OData.svc",
            "authenticationType": "Basic",
            "username": "username",
            "password": "password"
        }
    }
}

Voorbeeld: anonieme verificatie gebruiken

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "https://services.odata.org/OData/OData.svc",
            "authenticationType": "Anonymous"
        }
    }
}

Voorbeeld: Windows-verificatie gebruiken voor toegang tot on-premises OData-bron

{
    "name": "inputLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of on-premises OData source, for example, Dynamics CRM>",
            "authenticationType": "Windows",
            "username": "domain\\user",
            "password": "password",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: OAuth-verificatie gebruiken voor toegang tot OData-bron in de cloud

{
    "name": "inputLinkedService",
    "properties":
    {
        "type": "OData",
            "typeProperties":
        {
            "url": "<endpoint of cloud OData source, for example, https://<tenant>.crm.dynamics.com/XRMServices/2011/OrganizationData.svc>",
            "authenticationType": "OAuth",
            "authorizedCredential": "<auto generated by clicking the Authorize button on UI>"
        }
    }
}

Zie het artikel over de OData-connector voor meer informatie.

Gegevensset

Als u een OData-gegevensset wilt definiëren, stelt u het type van de gegevensset in op ODataResource en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
leertraject Pad naar de OData-resource Nee

Voorbeeld

{
    "name": "ODataDataset",
    "properties": {
        "type": "ODataResource",
        "typeProperties": {
            "path": "Products"
        },
        "linkedServiceName": "ODataLinkedService",
        "structure": [],
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "retryInterval": "00:01:00",
            "retryTimeout": "00:10:00",
            "maximumRetry": 3
        }
    }
}

Zie het artikel OData-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een OData-bron, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Voorbeeld Vereist
query Gebruik de aangepaste query om gegevens te lezen. "?$select=Name, Description&$top=5" Nee

Voorbeeld

{
    "name": "CopyODataToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "?$select=Name, Description&$top=5"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "ODataDataSet"
            }],
            "outputs": [{
                "name": "AzureBlobODataDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "ODataToBlob"
        }],
        "start": "2017-02-01T18:00:00",
        "end": "2017-02-03T19:00:00"
    }
}

Zie het artikel OData-connector voor meer informatie.

ODBC

Gekoppelde service

Als u een gekoppelde ODBC-service wilt definiëren, stelt u het type van de gekoppelde service in op OnPremisesOdbc en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
connectionString Het niet-toegangsreferentiegedeelte van de verbindingsreeks en een optionele versleutelde referentie. Zie voorbeelden in de volgende secties. Ja
referenties Het toegangsreferentiegedeelte van de verbindingsreeks die is opgegeven in stuurprogrammaspecifieke eigenschapswaarde-indeling. Voorbeeld: “Uid=<user ID>;Pwd=<password>;RefreshToken=<secret refresh token>;”. Nee
authenticationType Type verificatie dat wordt gebruikt om verbinding te maken met het ODBC-gegevensarchief. Mogelijke waarden zijn: Anoniem en Basic. Ja
gebruikersnaam Geef de gebruikersnaam op als u basisverificatie gebruikt. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee
gatewayName Naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met het ODBC-gegevensarchief. Ja

Voorbeeld: Basisverificatie gebruiken

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "OnPremisesOdbc",
        "typeProperties": {
            "authenticationType": "Basic",
            "connectionString": "Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase;",
            "userName": "username",
            "password": "password",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: Basisverificatie gebruiken met versleutelde referenties

U kunt de referenties versleutelen met de cmdlet New-AzDataFactoryEncryptValue .

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "OnPremisesOdbc",
        "typeProperties": {
            "authenticationType": "Basic",
            "connectionString": "Driver={SQL Server};Server=myserver.database.windows.net; Database=TestDatabase;;EncryptedCredential=eyJDb25uZWN0...........................",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Voorbeeld: Anonieme verificatie gebruiken

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "OnPremisesOdbc",
        "typeProperties": {
            "authenticationType": "Anonymous",
            "connectionString": "Driver={SQL Server};Server={servername}.database.windows.net; Database=TestDatabase;",
            "credential": "UID={uid};PWD={pwd}",
            "gatewayName": "<onpremgateway>"
        }
    }
}

Zie het artikel over DE ODBC-connector voor meer informatie.

Gegevensset

Als u een ODBC-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel in het ODBC-gegevensarchief. Ja

Voorbeeld

{
    "name": "ODBCDataSet",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": "ODBCLinkedService",
        "typeProperties": {},
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over DE ODBC-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit een ODBC-gegevensarchief, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. SQL-queryreeks. Bijvoorbeeld: select * from MyTable. Ja

Voorbeeld

{
    "name": "CopyODBCToBlob",
    "properties": {
        "description": "pipeline for copy activity",
        "activities": [{
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "$$Text.Format('select * from MyTable where timestamp >= \\'{0:yyyy-MM-ddTHH:mm:ss}\\' AND timestamp < \\'{1:yyyy-MM-ddTHH:mm:ss}\\'', WindowStart, WindowEnd)"
                },
                "sink": {
                    "type": "BlobSink",
                    "writeBatchSize": 0,
                    "writeBatchTimeout": "00:00:00"
                }
            },
            "inputs": [{
                "name": "OdbcDataSet"
            }],
            "outputs": [{
                "name": "AzureBlobOdbcDataSet"
            }],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "name": "OdbcToBlob"
        }],
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00"
    }
}

Zie het artikel over DE ODBC-connector voor meer informatie.

SalesForce

Gekoppelde service

Als u een gekoppelde Salesforce-service wilt definiëren, stelt u het type gekoppelde service in op Salesforce en geeft u de volgende eigenschappen op in de sectie typeProperties:

Eigenschap Beschrijving Vereist
environmentUrl Geef de URL van het Salesforce-exemplaar op.

- Standaard is 'https://login.salesforce.com".
- Als u gegevens uit de sandbox wilt kopiëren, geeft u "https://test.salesforce.com".
- Als u gegevens uit een aangepast domein wilt kopiëren, geeft u bijvoorbeeld 'https://[domein].my.salesforce.com' op.
Nee
gebruikersnaam Geef een gebruikersnaam op voor het gebruikersaccount. Ja
wachtwoord Geef een wachtwoord op voor het gebruikersaccount. Ja
securityToken Geef een beveiligingstoken op voor het gebruikersaccount. Zie Beveiligingstoken ophalen voor instructies over het opnieuw instellen/ophalen van een beveiligingstoken. Zie Beveiliging en de API voor meer informatie over beveiligingstokens in het algemeen. Ja

Voorbeeld

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<user name>",
            "password": "<password>",
            "securityToken": "<security token>"
        }
    }
}

Zie het artikel over de Salesforce-connector voor meer informatie.

Gegevensset

Als u een Salesforce-gegevensset wilt definiëren, stelt u het type van de gegevensset in op RelationalTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
tableName Naam van de tabel in Salesforce. Nee (als een query van RelationalSource is opgegeven)

Voorbeeld

{
    "name": "SalesforceInput",
    "properties": {
        "linkedServiceName": "SalesforceLinkedService",
        "type": "RelationalTable",
        "typeProperties": {
            "tableName": "AllDataType__c"
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {
            "externalData": {
                "retryInterval": "00:01:00",
                "retryTimeout": "00:10:00",
                "maximumRetry": 3
            }
        }
    }
}

Zie het artikel over de Salesforce-connector voor meer informatie.

Relationele bron in kopieeractiviteit

Als u gegevens kopieert uit Salesforce, stelt u het brontype van de kopieeractiviteit in op RelationalSource en geeft u de volgende eigenschappen op in de bronsectie :

Eigenschap Beschrijving Toegestane waarden Vereist
query Gebruik de aangepaste query om gegevens te lezen. Een SQL-92-query of SOQL-query (Salesforce Object Query Language). Bijvoorbeeld: select * from MyTable__c. Nee (als de tableName van de gegevensset is opgegeven)

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "SalesforceToAzureBlob",
            "description": "Copy from Salesforce to an Azure blob",
            "type": "Copy",
            "inputs": [{
                "name": "SalesforceInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "RelationalSource",
                    "query": "SELECT Id, Col_AutoNumber__c, Col_Checkbox__c, Col_Currency__c, Col_Date__c, Col_DateTime__c, Col_Email__c, Col_Number__c, Col_Percent__c, Col_Phone__c, Col_Picklist__c, Col_Picklist_MultiSelect__c, Col_Text__c, Col_Text_Area__c, Col_Text_AreaLong__c, Col_Text_AreaRich__c, Col_URL__c, Col_Text_Encrypt__c, Col_Lookup__c FROM AllDataType__c"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Belangrijk

Het gedeelte __c van de API-naam is nodig voor elk aangepast object.

Zie het artikel over de Salesforce-connector voor meer informatie.

Webgegevens

Gekoppelde service

Als u een gekoppelde webservice wilt definiëren, stelt u het type van de gekoppelde service in op het web en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
URL URL naar de webbron Ja
authenticationType Anoniem. Ja

Voorbeeld

{
    "name": "web",
    "properties": {
        "type": "Web",
        "typeProperties": {
            "authenticationType": "Anonymous",
            "url": "https://en.wikipedia.org/wiki/"
        }
    }
}

Zie het artikel webtabelconnector voor meer informatie.

Gegevensset

Als u een webgegevensset wilt definiëren, stelt u het type van de gegevensset in op WebTable en geeft u de volgende eigenschappen op in de sectie typeProperties :

Eigenschap Beschrijving Vereist
type type van de gegevensset. moet zijn ingesteld op WebTable Ja
leertraject Een relatieve URL naar de resource die de tabel bevat. Nee. Wanneer het pad niet is opgegeven, wordt alleen de URL gebruikt die is opgegeven in de definitie van de gekoppelde service.
index De index van de tabel in de resource. Zie Index ophalen van een tabel in een HTML-paginasectie voor stappen voor het ophalen van een index van een tabel op een HTML-pagina. Ja

Voorbeeld

{
    "name": "WebTableInput",
    "properties": {
        "type": "WebTable",
        "linkedServiceName": "WebLinkedService",
        "typeProperties": {
            "index": 1,
            "path": "AFI's_100_Years...100_Movies"
        },
        "external": true,
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

Zie het artikel webtabelconnector voor meer informatie.

Webbron in kopieeractiviteit

Als u gegevens kopieert uit een webtabel, stelt u het brontype van de kopieeractiviteit in op WebSource. Wanneer de bron in de kopieeractiviteit van het type WebSource is, worden er momenteel geen aanvullende eigenschappen ondersteund.

Voorbeeld

{
    "name": "SamplePipeline",
    "properties": {
        "start": "2016-06-01T18:00:00",
        "end": "2016-06-01T19:00:00",
        "description": "pipeline with copy activity",
        "activities": [{
            "name": "WebTableToAzureBlob",
            "description": "Copy from a Web table to an Azure blob",
            "type": "Copy",
            "inputs": [{
                "name": "WebTableInput"
            }],
            "outputs": [{
                "name": "AzureBlobOutput"
            }],
            "typeProperties": {
                "source": {
                    "type": "WebSource"
                },
                "sink": {
                    "type": "BlobSink"
                }
            },
            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 0,
                "timeout": "01:00:00"
            }
        }]
    }
}

Zie het artikel webtabelconnector voor meer informatie.

REKENOMGEVINGEN

De volgende tabel bevat de rekenomgevingen die worden ondersteund door Data Factory en de transformatieactiviteiten die erop kunnen worden uitgevoerd. Klik op de koppeling voor de berekening waarin u geïnteresseerd bent om de JSON-schema's voor de gekoppelde service te zien om deze te koppelen aan een data factory.

Compute-omgeving Activiteiten
On-demand HDInsight-cluster of uw eigen HDInsight-cluster Aangepaste .NET-activiteit, Hive-activiteit, Pig-activiteit, MapReduce-activiteit, Hadoop-streamingactiviteit, Spark-activiteit
Azure Batch Aangepaste .NET-activiteit
Machine Learning Studio (klassiek) ML Studio (klassiek) Batch Execution Activity, ML Studio (klassiek) Update Resource Activity
Azure Data Lake Analytics Data Lake Analytics U-SQL
Azure SQL Database, Azure Synapse Analytics, SQL Server Opgeslagen procedure

On-demand Azure HDInsight-cluster

De Azure Data Factory-service kan automatisch een HDInsight-cluster op basis van Windows/Linux op aanvraag maken om gegevens te verwerken. Het cluster wordt gemaakt in dezelfde regio als het opslagaccount (de eigenschap linkedServiceName in de JSON) die is gekoppeld aan het cluster. U kunt de volgende transformatieactiviteiten uitvoeren op deze gekoppelde service: aangepaste .NET-activiteit, Hive-activiteit, Pig-activiteit, MapReduce-activiteit, Hadoop-streamingactiviteit, Spark-activiteit.

Gekoppelde service

De volgende tabel bevat beschrijvingen voor de eigenschappen die worden gebruikt in de Azure JSON-definitie van een gekoppelde HDInsight-service op aanvraag.

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op HDInsightOnDemand. Ja
clusterSize Aantal werkrol-/gegevensknooppunten in het cluster. Het HDInsight-cluster wordt gemaakt met 2 hoofdknooppunten, samen met het aantal werkknooppunten dat u voor deze eigenschap opgeeft. De knooppunten hebben een grootte Standard_D3 met vier kernen, dus een cluster met 4 werkknooppunten neemt 24 kernen (4*4 = 16 kernen voor werkknooppunten, plus 2*4 = 8 kernen voor hoofdknooppunten). Zie Hadoop-clusters op basis van Linux maken in HDInsight voor meer informatie over de Standard_D3 laag. Ja
tijdtolief De toegestane niet-actieve tijd voor het HDInsight-cluster op aanvraag. Hiermee geeft u op hoe lang het HDInsight-cluster op aanvraag actief blijft nadat een activiteit is uitgevoerd als er geen andere actieve taken in het cluster zijn.

Als een activiteitsuitvoering bijvoorbeeld 6 minuten duurt en tijdtolief is ingesteld op 5 minuten, blijft het cluster gedurende 5 minuten actief na de 6 minuten na het verwerken van de activiteitsuitvoering. Als een andere activiteitsuitvoering wordt uitgevoerd met het venster van 6 minuten, wordt deze verwerkt door hetzelfde cluster.

Het maken van een HDInsight-cluster op aanvraag is een dure bewerking (kan even duren), dus gebruik deze instelling indien nodig om de prestaties van een data factory te verbeteren door een HDInsight-cluster op aanvraag opnieuw te gebruiken.

Als u tijdstolieve waarde instelt op 0, wordt het cluster verwijderd zodra de activiteit wordt uitgevoerd. Als u echter een hoge waarde instelt, kan het cluster onnodig inactief blijven, wat leidt tot hoge kosten. Daarom is het belangrijk dat u de juiste waarde instelt op basis van uw behoeften.

Meerdere pijplijnen kunnen hetzelfde exemplaar van het HDInsight-cluster op aanvraag delen als de tijdtolieve eigenschapswaarde op de juiste manier is ingesteld
Ja
versie Versie van het HDInsight-cluster. Zie ondersteunde HDInsight-versies in Azure Data Factory voor meer informatie. Nee
linkedServiceName Gekoppelde Azure Storage-service die moet worden gebruikt door het cluster op aanvraag voor het opslaan en verwerken van gegevens.

Op dit moment kunt u geen HDInsight-cluster op aanvraag maken dat gebruikmaakt van een Azure Data Lake Store als opslag. Als u de resultaatgegevens uit HDInsight-verwerking wilt opslaan in een Azure Data Lake Store, gebruikt u een kopieeractiviteit om de gegevens van Azure Blob Storage naar de Azure Data Lake Store te kopiëren.

Ja
additionalLinkedServiceNames Hiermee geeft u aanvullende opslagaccounts voor de gekoppelde HDInsight-service op, zodat de Data Factory-service deze namens u kan registreren. Nee
osType Type besturingssysteem. Toegestane waarden zijn: Windows (standaard) en Linux Nee
hcatalogLinkedServiceName De naam van de gekoppelde Azure SQL-service die verwijst naar de HCatalog-database. Het HDInsight-cluster op aanvraag wordt gemaakt met behulp van Azure SQL Database als metastore. Nee

JSON-voorbeeld

De volgende JSON definieert een gekoppelde HDInsight-service op basis van Linux op aanvraag. De Data Factory-service maakt automatisch een HDInsight-cluster op basis van Linux bij het verwerken van een gegevenssegment.

{
    "name": "HDInsightOnDemandLinkedService",
    "properties": {
        "type": "HDInsightOnDemand",
        "typeProperties": {
            "version": "3.5",
            "clusterSize": 1,
            "timeToLive": "00:05:00",
            "osType": "Linux",
            "linkedServiceName": "StorageLinkedService"
        }
    }
}

Zie het artikel gekoppelde compute-services voor meer informatie.

Bestaand Azure HDInsight-cluster

U kunt een gekoppelde Azure HDInsight-service maken om uw eigen HDInsight-cluster te registreren bij Data Factory. U kunt de volgende activiteiten voor gegevenstransformatie uitvoeren op deze gekoppelde service: aangepaste .NET-activiteit, Hive-activiteit, Pig-activiteit, MapReduce-activiteit, Hadoop-streamingactiviteit, Spark-activiteit.

Gekoppelde service

De volgende tabel bevat beschrijvingen voor de eigenschappen die worden gebruikt in de Azure JSON-definitie van een gekoppelde Azure HDInsight-service.

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op HDInsight. Ja
clusterUri De URI van het HDInsight-cluster. Ja
gebruikersnaam Geef de naam op van de gebruiker die moet worden gebruikt om verbinding te maken met een bestaand HDInsight-cluster. Ja
wachtwoord Geef het wachtwoord op voor het gebruikersaccount. Ja
linkedServiceName Naam van de gekoppelde Azure Storage-service die verwijst naar de Azure Blob-opslag die wordt gebruikt door het HDInsight-cluster.

Op dit moment kunt u geen gekoppelde Azure Data Lake Store-service opgeven voor deze eigenschap. U kunt toegang krijgen tot gegevens in Azure Data Lake Store vanuit Hive/Pig-scripts als het HDInsight-cluster toegang heeft tot de Data Lake Store.

Ja

Zie ondersteunde HDInsight-versies voor versies van ONDERSTEUNDE HDInsight-clusters.

JSON-voorbeeld

{
    "name": "HDInsightLinkedService",
    "properties": {
        "type": "HDInsight",
        "typeProperties": {
            "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
            "userName": "admin",
            "password": "<password>",
            "linkedServiceName": "MyHDInsightStoragelinkedService"
        }
    }
}

Azure Batch

U kunt een gekoppelde Azure Batch-service maken om een Batch-pool met virtuele machines (VM's) te registreren bij een data factory. U kunt aangepaste .NET-activiteiten uitvoeren met Behulp van Azure Batch of Azure HDInsight. U kunt een aangepaste .NET-activiteit uitvoeren op deze gekoppelde service.

Gekoppelde service

De volgende tabel bevat beschrijvingen voor de eigenschappen die worden gebruikt in de Azure JSON-definitie van een gekoppelde Azure Batch-service.

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op AzureBatch. Ja
accountName Naam van het Azure Batch-account. Ja
Accesskey Toegangssleutel voor het Azure Batch-account. Ja
poolName Naam van de pool van virtuele machines. Ja
linkedServiceName Naam van de gekoppelde Azure Storage-service die is gekoppeld aan deze gekoppelde Azure Batch-service. Deze gekoppelde service wordt gebruikt voor faseringsbestanden die nodig zijn om de activiteit uit te voeren en de uitvoeringslogboeken van de activiteit op te slaan. Ja

JSON-voorbeeld

{
    "name": "AzureBatchLinkedService",
    "properties": {
        "type": "AzureBatch",
        "typeProperties": {
            "accountName": "<Azure Batch account name>",
            "accessKey": "<Azure Batch account key>",
            "poolName": "<Azure Batch pool name>",
            "linkedServiceName": "<Specify associated storage linked service reference here>"
        }
    }
}

ML Studio (klassiek)

Belangrijk

De ondersteuning voor Azure Machine Learning-studio (klassiek) eindigt op 31 augustus 2024. U wordt aangeraden om vóór die datum over te stappen naar Azure Machine Learning.

Vanaf 1 december 2021 kunt u geen nieuwe Machine Learning Studio-resources (klassiek) maken (werkruimte- en webserviceplan). Tot en met 31 augustus 2024 kunt u de bestaande Machine Learning Studio-experimenten en webservices blijven gebruiken.

De documentatie van ML-studio (klassiek) wordt buiten gebruik gesteld en wordt in de toekomst mogelijk niet meer bijgewerkt.

U maakt een gekoppelde ML Studio-service (klassiek) om een batchscore-eindpunt van Studio (klassiek) te registreren bij een data factory. Twee activiteiten voor gegevenstransformatie die kunnen worden uitgevoerd op deze gekoppelde service: ML Studio (klassiek) Batch Execution Activity, ML Studio (klassiek) Resource-activiteit bijwerken.

Gekoppelde service

De volgende tabel bevat beschrijvingen van de eigenschappen die worden gebruikt in de Azure JSON-definitie van een gekoppelde Studio-service (klassiek).

Eigenschap Beschrijving Vereist
Type De typeeigenschap moet worden ingesteld op: AzureML. Ja
mlEndpoint De batchscore-URL. Ja
apiKey De API van het gepubliceerde werkruimtemodel. Ja

JSON-voorbeeld

{
    "name": "AzureMLLinkedService",
    "properties": {
        "type": "AzureML",
        "typeProperties": {
            "mlEndpoint": "https://[batch scoring endpoint]/jobs",
            "apiKey": "<apikey>"
        }
    }
}

Azure Data Lake Analytics

U maakt een gekoppelde Azure Data Lake Analytics-service om een Azure Data Lake Analytics-rekenservice te koppelen aan een Azure Data Factory voordat u de Data Lake Analytics U-SQL-activiteit in een pijplijn gebruikt.

Gekoppelde service

De volgende tabel bevat beschrijvingen voor de eigenschappen die worden gebruikt in de JSON-definitie van een gekoppelde Azure Data Lake Analytics-service.

Eigenschap Beschrijving Vereist
Type De typeeigenschap moet worden ingesteld op: AzureDataLakeAnalytics. Ja
accountName Azure Data Lake Analytics-accountnaam. Ja
dataLakeAnalyticsUri Azure Data Lake Analytics-URI. Nee
autorisatie Autorisatiecode wordt automatisch opgehaald nadat u in de Data Factory-editor op de knop Autoriseren hebt geklikt en de OAuth-aanmelding hebt voltooid. Ja
subscriptionId Azure-abonnements-id Nee (Als dit niet is opgegeven, wordt het abonnement van de data factory gebruikt).
resourceGroupName Naam van Azure-resourcegroep Nee (als dit niet is opgegeven, wordt de resourcegroep van de data factory gebruikt).
Sessionid sessie-id van de OAuth-autorisatiesessie. Elke sessie-id is uniek en kan slechts eenmaal worden gebruikt. Wanneer u de Data Factory-editor gebruikt, wordt deze id automatisch gegenereerd. Ja

JSON-voorbeeld

Het volgende voorbeeld bevat JSON-definitie voor een gekoppelde Azure Data Lake Analytics-service.

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "<account name>",
            "dataLakeAnalyticsUri": "datalakeanalyticscompute.net",
            "authorization": "<authcode>",
            "sessionId": "<session ID>",
            "subscriptionId": "<subscription id>",
            "resourceGroupName": "<resource group name>"
        }
    }
}

Opgeslagen SQL Server-procedure

U maakt een gekoppelde SQL Server-service en gebruikt deze met de activiteit Opgeslagen procedure om een opgeslagen procedure aan te roepen vanuit een Data Factory-pijplijn.

Gekoppelde service

U maakt een gekoppelde service van het type OnPremisesSqlServer om een SQL Server-database te koppelen aan een data factory. De volgende tabel bevat een beschrijving voor JSON-elementen die specifiek zijn voor de gekoppelde SQL Server-service.

De volgende tabel bevat een beschrijving voor JSON-elementen die specifiek zijn voor de gekoppelde SQL Server-service.

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op: OnPremisesSqlServer. Ja
connectionString Geef connectionString-informatie op die nodig is om verbinding te maken met de SQL Server-database met behulp van SQL-verificatie of Windows-verificatie. Ja
gatewayName Naam van de gateway die de Data Factory-service moet gebruiken om verbinding te maken met de SQL Server-database. Ja
gebruikersnaam Geef de gebruikersnaam op als u Windows-verificatie gebruikt. Voorbeeld: domeinnaam\gebruikersnaam. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Nee

U kunt referenties versleutelen met behulp van de cmdlet New-AzDataFactoryEncryptValue en deze gebruiken in de verbindingsreeks, zoals wordt weergegeven in het volgende voorbeeld (EncryptedCredential-eigenschap ):

"connectionString": "Data Source=<servername>;Initial Catalog=<databasename>;Integrated Security=True;EncryptedCredential=<encrypted credential>",

Voorbeeld: JSON voor het gebruik van SQL-verificatie

{
    "name": "MyOnPremisesSQLDB",
    "properties": {
        "type": "OnPremisesSqlServer",
        "typeProperties": {
            "connectionString": "Data Source=<servername>;Initial Catalog=MarketingCampaigns;Integrated Security=False;User ID=<username>;Password=<password>;",
            "gatewayName": "<gateway name>"
        }
    }
}

Voorbeeld: JSON voor het gebruik van Windows-verificatie

Als de gebruikersnaam en het wachtwoord zijn opgegeven, gebruikt de gateway deze om het opgegeven gebruikersaccount te imiteren om verbinding te maken met de SQL Server-database. Anders maakt de gateway rechtstreeks verbinding met de SQL Server met de beveiligingscontext van Gateway (het opstartaccount).

{
    "Name": " MyOnPremisesSQLDB",
    "Properties": {
        "type": "OnPremisesSqlServer",
        "typeProperties": {
            "ConnectionString": "Data Source=<servername>;Initial Catalog=MarketingCampaigns;Integrated Security=True;",
            "username": "<domain\\username>",
            "password": "<password>",
            "gatewayName": "<gateway name>"
        }
    }
}

Zie het artikel sql Server-connector voor meer informatie.

ACTIVITEITEN VOOR GEGEVENSTRANSFORMATIE

Activiteit Description
HDInsight Hive-activiteit De HDInsight Hive-activiteit in een Data Factory-pijplijn voert Hive-query's uit op uw eigen of on-demand HdInsight-cluster op basis van Windows/Linux.
HDInsight Pig-activiteit De HDInsight Pig-activiteit in een Data Factory-pijplijn voert Pig-query's uit op uw eigen of on-demand HdInsight-cluster op basis van Windows/Linux.
HDInsight MapReduce-activiteit Met de HDInsight MapReduce-activiteit in een Data Factory-pijplijn worden MapReduce-programma's uitgevoerd op uw eigen of on-demand HDInsight-cluster op basis van Windows/Linux.
HDInsight-streamingactiviteit Met de HDInsight-streamingactiviteit in een Data Factory-pijplijn worden Hadoop Streaming-programma's uitgevoerd op uw eigen of on-demand HDInsight-cluster op basis van Windows/Linux.
HDInsight Spark-activiteit De HDInsight Spark-activiteit in een Data Factory-pijplijn voert Spark-programma's uit op uw eigen HDInsight-cluster.
Ml Studio (klassiek) Batch-uitvoeringsactiviteit Met Azure Data Factory kunt u eenvoudig pijplijnen maken die gebruikmaken van een gepubliceerde Studio-webservice (klassiek) voor predictive analytics. Met behulp van de batchuitvoeringsactiviteit in een Azure Data Factory-pijplijn kunt u een Studio-webservice (klassiek) aanroepen om voorspellingen te doen over de gegevens in batch.
ML Studio (klassiek) Resourceactiviteit bijwerken In de loop van de tijd moeten de voorspellende modellen in de score-experimenten van ML Studio (klassiek) opnieuw worden getraind met behulp van nieuwe invoergegevenssets. Nadat u klaar bent met opnieuw trainen, wilt u de scorewebservice bijwerken met het opnieuw getrainde machine learning-model. U kunt de resourceactiviteit bijwerken gebruiken om de webservice bij te werken met het zojuist getrainde model.
Opgeslagen procedureactiviteit U kunt de activiteit Opgeslagen procedure in een Data Factory-pijplijn gebruiken om een opgeslagen procedure aan te roepen in een van de volgende gegevensarchieven: Azure SQL Database, Azure Synapse Analytics, SQL Server Database in uw onderneming of een Azure-VM.
Data Lake Analytics U-SQL-activiteit Data Lake Analytics U-SQL-activiteit voert een U-SQL-script uit op een Azure Data Lake Analytics-cluster.
Aangepaste .NET-activiteit Als u gegevens wilt transformeren op een manier die niet wordt ondersteund door Data Factory, kunt u een aangepaste activiteit maken met uw eigen logica voor gegevensverwerking en de activiteit in de pijplijn gebruiken. U kunt de aangepaste .NET-activiteit configureren voor uitvoering met behulp van een Azure Batch-service of een Azure HDInsight-cluster.

HDInsight Hive-activiteit

U kunt de volgende eigenschappen opgeven in een JSON-definitie van Hive-activiteit. De typeeigenschap voor de activiteit moet zijn: HDInsightHive. U moet eerst een gekoppelde HDInsight-service maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op HDInsightHive:

Eigenschap Beschrijving Vereist
script Het Hive-script inline opgeven Nee
scriptpad Sla het Hive-script op in een Azure Blob-opslag en geef het pad naar het bestand op. Gebruik de eigenschap 'script' of 'scriptPath'. Beide kunnen niet samen worden gebruikt. De bestandsnaam is hoofdlettergevoelig. Nee
Definieert Parameters opgeven als sleutel-/waardeparen voor verwijzingen in het Hive-script met behulp van 'hiveconf' Nee

Deze typeeigenschappen zijn specifiek voor de Hive-activiteit. Andere eigenschappen (buiten de sectie typeProperties) worden ondersteund voor alle activiteiten.

JSON-voorbeeld

De volgende JSON definieert een HDInsight Hive-activiteit in een pijplijn.

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "inputs": [
      {
        "name": "input tables"
      }
    ],
    "outputs": [
      {
        "name": "output tables"
      }
    ],
    "linkedServiceName": "MyHDInsightLinkedService",
    "typeProperties": {
      "script": "Hive script",
      "scriptPath": "<pathtotheHivescriptfileinAzureblobstorage>",
      "defines": {
        "param1": "param1Value"
      }
    },
   "scheduler": {
      "frequency": "Day",
      "interval": 1
    }
}

Zie het artikel Hive Activity voor meer informatie.

HDInsight Pig-activiteit

U kunt de volgende eigenschappen opgeven in een Pig Activity JSON-definitie. De typeeigenschap voor de activiteit moet zijn: HDInsightPig. U moet eerst een gekoppelde HDInsight-service maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op HDInsightPig:

Eigenschap Beschrijving Vereist
script Geef het Pig-script inline op Nee
scriptpad Sla het Pig-script op in een Azure Blob-opslag en geef het pad naar het bestand op. Gebruik de eigenschap 'script' of 'scriptPath'. Beide kunnen niet samen worden gebruikt. De bestandsnaam is hoofdlettergevoelig. Nee
Definieert Parameters opgeven als sleutel-waardeparen voor verwijzingen in het Pig-script Nee

Deze typeeigenschappen zijn specifiek voor de Pig-activiteit. Andere eigenschappen (buiten de sectie typeProperties) worden ondersteund voor alle activiteiten.

JSON-voorbeeld

{
    "name": "HiveActivitySamplePipeline",
      "properties": {
    "activities": [
        {
            "name": "Pig Activity",
            "description": "description",
            "type": "HDInsightPig",
            "inputs": [
                  {
                    "name": "input tables"
                  }
            ],
            "outputs": [
                  {
                    "name": "output tables"
                  }
            ],
            "linkedServiceName": "MyHDInsightLinkedService",
            "typeProperties": {
                  "script": "Pig script",
                  "scriptPath": "<pathtothePigscriptfileinAzureblobstorage>",
                  "defines": {
                    "param1": "param1Value"
                  }
            },
               "scheduler": {
                  "frequency": "Day",
                  "interval": 1
            }
          }
    ]
  }
}

Zie het artikel Pig Activity voor meer informatie.

HDInsight MapReduce-activiteit

U kunt de volgende eigenschappen opgeven in een JSON-definitie van MapReduce-activiteit. De typeeigenschap voor de activiteit moet zijn: HDInsightMapReduce. U moet eerst een gekoppelde HDInsight-service maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op HDInsightMapReduce:

Eigenschap Beschrijving Vereist
jarLinkedService Naam van de gekoppelde service voor Azure Storage die het JAR-bestand bevat. Ja
jarFilePath Pad naar het JAR-bestand in Azure Storage. Ja
Classname Naam van de hoofdklasse in het JAR-bestand. Ja
Argumenten Een lijst met door komma's gescheiden argumenten voor het MapReduce-programma. Tijdens runtime ziet u enkele extra argumenten (bijvoorbeeld mapreduce.job.tags) vanuit het MapReduce-framework. Als u uw argumenten wilt onderscheiden van de MapReduce-argumenten, kunt u overwegen om beide opties en waarden als argumenten te gebruiken, zoals wordt weergegeven in het volgende voorbeeld (-s, -input, --output enzovoort, zijn opties direct gevolgd door hun waarden) Nee

JSON-voorbeeld

{
    "name": "MahoutMapReduceSamplePipeline",
    "properties": {
        "description": "Sample Pipeline to Run a Mahout Custom Map Reduce Jar. This job calculates an Item Similarity Matrix to determine the similarity between two items",
        "activities": [
            {
                "type": "HDInsightMapReduce",
                "typeProperties": {
                    "className": "org.apache.mahout.cf.taste.hadoop.similarity.item.ItemSimilarityJob",
                    "jarFilePath": "adfsamples/Mahout/jars/mahout-examples-0.9.0.2.2.7.1-34.jar",
                    "jarLinkedService": "StorageLinkedService",
                    "arguments": ["-s", "SIMILARITY_LOGLIKELIHOOD", "--input", "wasb://adfsamples@spestore.blob.core.windows.net/Mahout/input", "--output", "wasb://adfsamples@spestore.blob.core.windows.net/Mahout/output/", "--maxSimilaritiesPerItem", "500", "--tempDir", "wasb://adfsamples@spestore.blob.core.windows.net/Mahout/temp/mahout"]
                },
                "inputs": [
                    {
                        "name": "MahoutInput"
                    }
                ],
                "outputs": [
                    {
                        "name": "MahoutOutput"
                    }
                ],
                "policy": {
                    "timeout": "01:00:00",
                    "concurrency": 1,
                    "retry": 3
                },
                "scheduler": {
                    "frequency": "Hour",
                    "interval": 1
                },
                "name": "MahoutActivity",
                "description": "Custom Map Reduce to generate Mahout result",
                "linkedServiceName": "HDInsightLinkedService"
            }
        ],
        "start": "2017-01-03T00:00:00",
        "end": "2017-01-04T00:00:00"
    }
}

Zie het artikel MapReduce Activity voor meer informatie.

HDInsight-streamingactiviteit

U kunt de volgende eigenschappen opgeven in een JSON-definitie van Hadoop Streaming Activity. De typeeigenschap voor de activiteit moet zijn: HDInsightStreaming. U moet eerst een gekoppelde HDInsight-service maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op HDInsightStreaming:

Eigenschap Beschrijving
Mapper Naam van het uitvoerbare mapperbestand. In het voorbeeld is cat.exe het uitvoerbare bestand mapper.
Reducer Naam van het uitvoerbare reducerbestand. In het voorbeeld is wc.exe het uitvoerbare reducerbestand.
input Invoerbestand (inclusief locatie) voor de mapper. In het voorbeeld: "wasb://adfsample@<account name>.blob.core.windows.net/example/data/gutenberg/davinci.txt"adfsample is de blobcontainer, voorbeeld/data/Gutenberg is de map en davinci.txt de blob is.
output Uitvoerbestand (inclusief locatie) voor de reducer. De uitvoer van de Hadoop Streaming-taak wordt geschreven naar de locatie die voor deze eigenschap is opgegeven.
filePaths Paden voor de mapper- en reducer-uitvoerbare bestanden. In het voorbeeld: 'adfsample/example/apps/wc.exe', is adfsample de blobcontainer, voorbeeld/apps de map en wc.exe het uitvoerbare bestand is.
fileLinkedService Gekoppelde Azure Storage-service die de Azure-opslag vertegenwoordigt die de bestanden bevat die zijn opgegeven in de sectie filePaths.
Argumenten Een lijst met door komma's gescheiden argumenten voor het MapReduce-programma. Tijdens runtime ziet u enkele extra argumenten (bijvoorbeeld mapreduce.job.tags) uit het MapReduce-framework. Als u uw argumenten wilt onderscheiden van de MapReduce-argumenten, kunt u overwegen om beide opties en waarden te gebruiken als argumenten, zoals wordt weergegeven in het volgende voorbeeld (-s, -input, --output, enzovoort, zijn opties direct gevolgd door hun waarden)
getDebugInfo Een optioneel element. Wanneer deze optie is ingesteld op Fout, worden de logboeken alleen gedownload bij een fout. Wanneer deze optie is ingesteld op Alles, worden logboeken altijd gedownload, ongeacht de uitvoeringsstatus.

Notitie

U moet een uitvoergegevensset opgeven voor de Hadoop Streaming-activiteit voor de uitvoereigenschap. Deze gegevensset kan slechts een dummygegevensset zijn die nodig is om het pijplijnschema (elk uur, dagelijks, enzovoort) te sturen. Als de activiteit geen invoer neemt, kunt u het opgeven van een invoergegevensset voor de activiteit voor de invoereigenschap overslaan.

JSON-voorbeeld

{
    "name": "HadoopStreamingPipeline",
    "properties": {
        "description": "Hadoop Streaming Demo",
        "activities": [
            {
                "type": "HDInsightStreaming",
                "typeProperties": {
                    "mapper": "cat.exe",
                    "reducer": "wc.exe",
                    "input": "wasb://<nameofthecluster>@spestore.blob.core.windows.net/example/data/gutenberg/davinci.txt",
                    "output": "wasb://<nameofthecluster>@spestore.blob.core.windows.net/example/data/StreamingOutput/wc.txt",
                    "filePaths": ["<nameofthecluster>/example/apps/wc.exe","<nameofthecluster>/example/apps/cat.exe"],
                    "fileLinkedService": "StorageLinkedService",
                    "getDebugInfo": "Failure"
                },
                "outputs": [
                    {
                        "name": "StreamingOutputDataset"
                    }
                ],
                "policy": {
                    "timeout": "01:00:00",
                    "concurrency": 1,
                    "executionPriorityOrder": "NewestFirst",
                    "retry": 1
                },
                "scheduler": {
                    "frequency": "Day",
                    "interval": 1
                },
                "name": "RunHadoopStreamingJob",
                "description": "Run a Hadoop streaming job",
                "linkedServiceName": "HDInsightLinkedService"
            }
        ],
        "start": "2014-01-04T00:00:00",
        "end": "2014-01-05T00:00:00"
    }
}

Zie het artikel Hadoop Streaming Activity voor meer informatie.

HDInsight Spark-activiteit

U kunt de volgende eigenschappen opgeven in een JSON-definitie van Spark-activiteit. De typeeigenschap voor de activiteit moet zijn: HDInsightSpark. U moet eerst een gekoppelde HDInsight-service maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op HDInsightSpark:

Eigenschap Beschrijving Vereist
rootPath De Azure Blob-container en -map die het Spark-bestand bevat. De bestandsnaam is hoofdlettergevoelig. Ja
entryFilePath Relatief pad naar de hoofdmap van de Spark-code/het pakket. Ja
Classname Java/Spark-hoofdklasse van de toepassing Nee
Argumenten Een lijst met opdrachtregelargumenten voor het Spark-programma. Nee
proxyUser Het gebruikersaccount dat moet worden geïmiteerd om het Spark-programma uit te voeren Nee
sparkConfig Spark-configuratie-eigenschappen. Nee
getDebugInfo Hiermee geeft u op wanneer de Spark-logboekbestanden worden gekopieerd naar de Azure-opslag die wordt gebruikt door het HDInsight-cluster (of) dat is opgegeven door sparkJobLinkedService. Toegestane waarden: Geen, Altijd of Fout. Standaardwaarde: Geen. Nee
sparkJobLinkedService De gekoppelde Azure Storage-service met het Spark-taakbestand, afhankelijkheden en logboeken. Als u geen waarde voor deze eigenschap opgeeft, wordt de opslag gebruikt die is gekoppeld aan het HDInsight-cluster. Nee

JSON-voorbeeld

{
    "name": "SparkPipeline",
    "properties": {
        "activities": [
            {
                "type": "HDInsightSpark",
                "typeProperties": {
                    "rootPath": "adfspark\\pyFiles",
                    "entryFilePath": "test.py",
                    "getDebugInfo": "Always"
                },
                "outputs": [
                    {
                        "name": "OutputDataset"
                    }
                ],
                "name": "MySparkActivity",
                "linkedServiceName": "HDInsightLinkedService"
            }
        ],
        "start": "2017-02-05T00:00:00",
        "end": "2017-02-06T00:00:00"
    }
}

Houd rekening met de volgende punten:

  • De typeeigenschap is ingesteld op HDInsightSpark.

  • Het rootPath is ingesteld op adfspark\pyFiles, waarbij adfspark de Azure Blob-container is en pyFiles een prima map in die container is. In dit voorbeeld is Azure Blob Storage degene die is gekoppeld aan het Spark-cluster. U kunt het bestand uploaden naar een andere Azure Storage. Als u dit doet, maakt u een gekoppelde Azure Storage-service om dat opslagaccount te koppelen aan de data factory. Geef vervolgens de naam van de gekoppelde service op als een waarde voor de eigenschap sparkJobLinkedService . Zie eigenschappen van Spark-activiteit voor meer informatie over deze eigenschap en andere eigenschappen die worden ondersteund door de Spark-activiteit.

  • Het entryFilePath is ingesteld op de test.py, het Python-bestand.

  • De eigenschap getDebugInfo is ingesteld op Altijd, wat betekent dat de logboekbestanden altijd worden gegenereerd (geslaagd of mislukt).

    Belangrijk

    U wordt aangeraden deze eigenschap niet in te stellen op Altijd in een productieomgeving, tenzij u een probleem wilt oplossen.

  • De uitvoersectie heeft één uitvoergegevensset. U moet een uitvoergegevensset opgeven, zelfs als het Spark-programma geen uitvoer produceert. De uitvoergegevensset bepaalt het schema voor de pijplijn (elk uur, dagelijks, enzovoort).

Zie het artikel Spark-activiteit voor meer informatie over de activiteit.

ML Studio (klassiek) Batch Execution Activity

Belangrijk

De ondersteuning voor Azure Machine Learning-studio (klassiek) eindigt op 31 augustus 2024. U wordt aangeraden om vóór die datum over te stappen naar Azure Machine Learning.

Vanaf 1 december 2021 kunt u geen nieuwe Machine Learning Studio-resources (klassiek) maken (werkruimte- en webserviceplan). Tot en met 31 augustus 2024 kunt u de bestaande Experimenten en webservices van Machine Learning Studio (klassiek) blijven gebruiken.

De documentatie van ML-studio (klassiek) wordt buiten gebruik gesteld en wordt in de toekomst mogelijk niet meer bijgewerkt.

U kunt de volgende eigenschappen opgeven in een JSON-definitie van ML Studio (klassiek) Batch Execution Activity. De typeeigenschap voor de activiteit moet zijn: AzureMLBatchExecution. U moet eerst een gekoppelde Studio-service (klassiek) maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op AzureMLBatchExecution:

Eigenschap Beschrijving Vereist
webServiceInput De gegevensset die moet worden doorgegeven als invoer voor de Studio-webservice (klassiek). Deze gegevensset moet ook worden opgenomen in de invoer voor de activiteit. Gebruik webServiceInput of webServiceInputs.
webServiceInputs Geef gegevenssets op die moeten worden doorgegeven als invoer voor de Studio-webservice (klassiek). Als de webservice meerdere invoer gebruikt, gebruikt u de eigenschap webServiceInputs in plaats van de eigenschap webServiceInput. Gegevenssets waarnaar wordt verwezen door de webServiceInputs , moeten ook worden opgenomen in de activiteitsinvoer. Gebruik webServiceInput of webServiceInputs.
webServiceOutputs De gegevenssets die zijn toegewezen als uitvoer voor de Studio-webservice (klassiek). De webservice retourneert uitvoergegevens in deze gegevensset. Ja
globalParameters Geef waarden op voor de webserviceparameters in deze sectie. Nee

JSON-voorbeeld

In dit voorbeeld bevat de activiteit de gegevensset MLSqlInput als invoer en MLSqlOutput als uitvoer. De MLSqlInput wordt doorgegeven als invoer voor de webservice met behulp van de JSON-eigenschap webServiceInput . De MLSqlOutput wordt doorgegeven als uitvoer aan de webservice met behulp van de JSON-eigenschap webServiceOutputs .

{
   "name": "MLWithSqlReaderSqlWriter",
   "properties": {
      "description": "Azure ML model with sql azure reader/writer",
      "activities": [{
         "name": "MLSqlReaderSqlWriterActivity",
         "type": "AzureMLBatchExecution",
         "description": "test",
         "inputs": [ { "name": "MLSqlInput" }],
         "outputs": [ { "name": "MLSqlOutput" } ],
         "linkedServiceName": "MLSqlReaderSqlWriterDecisionTreeModel",
         "typeProperties":
         {
            "webServiceInput": "MLSqlInput",
            "webServiceOutputs": {
               "output1": "MLSqlOutput"
            },
            "globalParameters": {
               "Database server name": "<myserver>.database.windows.net",
               "Database name": "<database>",
               "Server user account name": "<user name>",
               "Server user account password": "<password>"
            }
         },
         "policy": {
            "concurrency": 1,
            "executionPriorityOrder": "NewestFirst",
            "retry": 1,
            "timeout": "02:00:00"
         }
      }],
      "start": "2016-02-13T00:00:00",
       "end": "2016-02-14T00:00:00"
   }
}

In het JSON-voorbeeld gebruikt de geïmplementeerde Studio-webservice (klassiek) een lezer en een schrijfmodule om gegevens van/naar een Azure SQL Database te lezen/schrijven. Deze webservice bevat de volgende vier parameters: databaseservernaam, databasenaam, servergebruikersaccountnaam en wachtwoord van servergebruikersaccount.

Notitie

Alleen invoer en uitvoer van de Activiteit AzureMLBatchExecution kunnen worden doorgegeven als parameters aan de webservice. In het bovenstaande JSON-fragment is MLSqlInput bijvoorbeeld een invoer voor de AzureMLBatchExecution-activiteit, die wordt doorgegeven als invoer voor de webservice via de parameter WebServiceInput.

ML Studio (klassiek) Resourceactiviteit bijwerken

U kunt de volgende eigenschappen opgeven in een JSON-definitie van ML Studio (klassiek) Resourceactiviteit bijwerken. De typeeigenschap voor de activiteit moet zijn: AzureMLUpdateResource. U moet eerst een gekoppelde Studio-service (klassiek) maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op AzureMLUpdateResource:

Eigenschap Beschrijving Vereist
trainedModelName Naam van het opnieuw getrainde model. Ja
trainedModelDatasetName Gegevensset die verwijst naar het iLearner-bestand dat wordt geretourneerd door de hertrainingsbewerking. Ja

JSON-voorbeeld

De pijplijn heeft twee activiteiten: AzureMLBatchExecution en AzureMLUpdateResource. De Activiteit batchuitvoering van Studio (klassiek) gebruikt de trainingsgegevens als invoer en produceert een iLearner-bestand als uitvoer. De activiteit roept de trainingswebservice (trainingsexperiment beschikbaar als een webservice) aan met de invoertrainingsgegevens en ontvangt het ilearner-bestand van de webservice. De tijdelijke aanduidingBlob is slechts een dummy-uitvoergegevensset die is vereist voor de Azure Data Factory-service om de pijplijn uit te voeren.

{
    "name": "pipeline",
    "properties": {
        "activities": [
            {
                "name": "retraining",
                "type": "AzureMLBatchExecution",
                "inputs": [
                    {
                        "name": "trainingData"
                    }
                ],
                "outputs": [
                    {
                        "name": "trainedModelBlob"
                    }
                ],
                "typeProperties": {
                    "webServiceInput": "trainingData",
                    "webServiceOutputs": {
                        "output1": "trainedModelBlob"
                    }
                 },
                "linkedServiceName": "trainingEndpoint",
                "policy": {
                    "concurrency": 1,
                    "executionPriorityOrder": "NewestFirst",
                    "retry": 1,
                    "timeout": "02:00:00"
                }
            },
            {
                "type": "AzureMLUpdateResource",
                "typeProperties": {
                    "trainedModelName": "trained model",
                    "trainedModelDatasetName" :  "trainedModelBlob"
                },
                "inputs": [{ "name": "trainedModelBlob" }],
                "outputs": [{ "name": "placeholderBlob" }],
                "policy": {
                    "timeout": "01:00:00",
                    "concurrency": 1,
                    "retry": 3
                },
                "name": "AzureML Update Resource",
                "linkedServiceName": "updatableScoringEndpoint2"
            }
        ],
        "start": "2016-02-13T00:00:00",
		"end": "2016-02-14T00:00:00"
    }
}

Data Lake Analytics U-SQL-activiteit

U kunt de volgende eigenschappen opgeven in een JSON-definitie van een U-SQL-activiteit. De typeeigenschap voor de activiteit moet zijn: DataLakeAnalyticsU-SQL. U moet een gekoppelde Azure Data Lake Analytics-service maken en de naam ervan opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op DataLakeAnalyticsU-SQL:

Eigenschap Beschrijving Vereist
scriptPath Pad naar map die het U-SQL-script bevat. De naam van het bestand is hoofdlettergevoelig. Nee (als u script gebruikt)
scriptLinkedService Gekoppelde service die de opslag die het script bevat, koppelt aan de data factory Nee (als u script gebruikt)
script Geef inlinescripts op in plaats van scriptPath en scriptLinkedService op te geven. Bijvoorbeeld: 'script': 'CREATE DATABASE test'. Nee (als u scriptPath en scriptLinkedService gebruikt)
degreeOfParallelism Het maximum aantal knooppunten dat tegelijkertijd wordt gebruikt om de taak uit te voeren. Nee
priority Bepaalt welke taken uit alle wachtrijen moeten worden geselecteerd om eerst uit te voeren. Hoe lager het getal, hoe hoger de prioriteit. Nee
parameters Parameters voor het U-SQL-script Nee

JSON-voorbeeld

{
    "name": "ComputeEventsByRegionPipeline",
    "properties": {
        "description": "This pipeline computes events for en-gb locale and date less than Feb 19, 2012.",
        "activities":
        [
            {
                "type": "DataLakeAnalyticsU-SQL",
                "typeProperties": {
                    "scriptPath": "scripts\\kona\\SearchLogProcessing.txt",
                    "scriptLinkedService": "StorageLinkedService",
                    "degreeOfParallelism": 3,
                    "priority": 100,
                    "parameters": {
                        "in": "/datalake/input/SearchLog.tsv",
                        "out": "/datalake/output/Result.tsv"
                    }
                },
                "inputs": [
                    {
                        "name": "DataLakeTable"
                    }
                ],
                "outputs":
                [
                    {
                        "name": "EventsByRegionTable"
                    }
                ],
                "policy": {
                    "timeout": "06:00:00",
                    "concurrency": 1,
                    "executionPriorityOrder": "NewestFirst",
                    "retry": 1
                },
                "scheduler": {
                    "frequency": "Day",
                    "interval": 1
                },
                "name": "EventsByRegion",
                "linkedServiceName": "AzureDataLakeAnalyticsLinkedService"
            }
        ],
        "start": "2015-08-08T00:00:00",
        "end": "2015-08-08T01:00:00",
        "isPaused": false
    }
}

Zie Data Lake Analytics U-SQL-activiteit voor meer informatie.

Opgeslagen procedureactiviteit

U kunt de volgende eigenschappen opgeven in de JSON-definitie van een opgeslagen procedureactiviteit. De typeeigenschap voor de activiteit moet zijn: SqlServerStoredProcedure. U moet een van de volgende gekoppelde services maken en de naam van de gekoppelde service opgeven als een waarde voor de eigenschap linkedServiceName :

  • SQL Server
  • Azure SQL Database
  • Azure Synapse Analytics

De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op SqlServerStoredProcedure:

Eigenschap Beschrijving Vereist
storedProcedureName Geef de naam op van de opgeslagen procedure in Azure SQL Database of Azure Synapse Analytics die wordt vertegenwoordigd door de gekoppelde service die door de uitvoertabel wordt gebruikt. Ja
storedProcedureParameters Geef waarden op voor opgeslagen procedureparameters. Als u null moet doorgeven voor een parameter, gebruikt u de syntaxis: 'param1': null (alle kleine letters). Zie het volgende voorbeeld voor meer informatie over het gebruik van deze eigenschap. Nee

Als u een invoergegevensset opgeeft, moet deze beschikbaar zijn (in de status Gereed) om de opgeslagen procedureactiviteit uit te voeren. De invoergegevensset kan niet worden gebruikt in de opgeslagen procedure als parameter. Deze wordt alleen gebruikt om de afhankelijkheid te controleren voordat de opgeslagen procedureactiviteit wordt gestart. U moet een uitvoergegevensset opgeven voor een opgeslagen procedureactiviteit.

De uitvoergegevensset geeft het schema op voor de opgeslagen procedureactiviteit (elk uur, wekelijks, maandelijks, enzovoort). De uitvoergegevensset moet een gekoppelde service gebruiken die verwijst naar een Azure SQL Database of een Azure Synapse Analytics of een SQL Server-database waarin u de opgeslagen procedure wilt uitvoeren. De uitvoergegevensset kan fungeren als een manier om het resultaat van de opgeslagen procedure door te geven voor latere verwerking door een andere activiteit (ketenactiviteiten) in de pijplijn. Data Factory schrijft echter niet automatisch de uitvoer van een opgeslagen procedure naar deze gegevensset. Dit is de opgeslagen procedure die naar een SQL-tabel schrijft waarnaar de uitvoergegevensset verwijst. In sommige gevallen kan de uitvoergegevensset een dummy-gegevensset zijn, die alleen wordt gebruikt om het schema op te geven voor het uitvoeren van de opgeslagen procedureactiviteit.

JSON-voorbeeld

{
    "name": "SprocActivitySamplePipeline",
    "properties": {
        "activities": [
            {
                "type": "SqlServerStoredProcedure",
                "typeProperties": {
                    "storedProcedureName": "usp_sample",
                    "storedProcedureParameters": {
                        "DateTime": "$$Text.Format('{0:yyyy-MM-dd HH:mm:ss}', SliceStart)"
                    }
                },
                "outputs": [{ "name": "sprocsampleout" }],
                "name": "SprocActivitySample"
            }
        ],
         "start": "2016-08-02T00:00:00",
         "end": "2016-08-02T05:00:00",
        "isPaused": false
    }
}

Zie het artikel Opgeslagen procedureactiviteit voor meer informatie.

Aangepaste .NET-activiteit

U kunt de volgende eigenschappen opgeven in een JSON-definitie van een aangepaste .NET-activiteit. De typeeigenschap voor de activiteit moet zijn: DotNetActivity. U moet een gekoppelde Azure HDInsight-service of een gekoppelde Azure Batch-service maken en de naam van de gekoppelde service opgeven als een waarde voor de eigenschap linkedServiceName . De volgende eigenschappen worden ondersteund in de sectie typeProperties wanneer u het type activiteit instelt op DotNetActivity:

Eigenschap Beschrijving Vereist
AssemblyName Naam van de assembly. In het voorbeeld is het: MyDotnetActivity.dll. Ja
EntryPoint Naam van de klasse die de IDotNetActivity-interface implementeert. In het voorbeeld is dit: MyDotNetActivityNS.MyDotNetActivity waarbij MyDotNetActivityNS de naamruimte is en MyDotNetActivity de klasse is. Ja
PackageLinkedService Naam van de gekoppelde Azure Storage-service die verwijst naar de blobopslag die het zip-bestand voor aangepaste activiteiten bevat. In het voorbeeld is dit: AzureStorageLinkedService. Ja
PackageFile Naam van het zip-bestand. In het voorbeeld is dit: customactivitycontainer/MyDotNetActivity.zip. Ja
extendedProperties Uitgebreide eigenschappen die u kunt definiëren en doorgeven aan de .NET-code. In dit voorbeeld wordt de SliceStart-variabele ingesteld op een waarde op basis van de systeemvariabele SliceStart. Nee

JSON-voorbeeld

{
  "name": "ADFTutorialPipelineCustom",
  "properties": {
    "description": "Use custom activity",
    "activities": [
      {
        "Name": "MyDotNetActivity",
        "Type": "DotNetActivity",
        "Inputs": [
          {
            "Name": "InputDataset"
          }
        ],
        "Outputs": [
          {
            "Name": "OutputDataset"
          }
        ],
        "LinkedServiceName": "AzureBatchLinkedService",
        "typeProperties": {
          "AssemblyName": "MyDotNetActivity.dll",
          "EntryPoint": "MyDotNetActivityNS.MyDotNetActivity",
          "PackageLinkedService": "AzureStorageLinkedService",
          "PackageFile": "customactivitycontainer/MyDotNetActivity.zip",
          "extendedProperties": {
            "SliceStart": "$$Text.Format('{0:yyyyMMddHH-mm}', Time.AddMinutes(SliceStart, 0))"
          }
        },
        "Policy": {
          "Concurrency": 2,
          "ExecutionPriorityOrder": "OldestFirst",
          "Retry": 3,
          "Timeout": "00:30:00",
          "Delay": "00:00:00"
        }
      }
    ],
    "start": "2016-11-16T00:00:00",
    "end": "2016-11-16T05:00:00",
    "isPaused": false
  }
}

Zie Het artikel Aangepaste activiteiten gebruiken in Data Factory voor gedetailleerde informatie.

Volgende stappen

Zie de volgende zelfstudies: