Referentietriggermetagegevens in pijplijnuitvoeringen

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe metagegevens van triggers, zoals de begintijd van de trigger, kunnen worden gebruikt in pijplijnuitvoering.

Pijplijn moet soms metagegevens begrijpen en lezen van trigger die deze aanroept. Wanneer de Tumblingvenstertrigger bijvoorbeeld wordt uitgevoerd, op basis van de begin- en eindtijd van het venster, verwerkt de pijplijn verschillende gegevenssegmenten of mappen. In Azure Data Factory gebruiken we parameterisatie en systeemvariabele om metagegevens van trigger naar pijplijn door te geven.

Dit patroon is met name handig voor Tumblingvenstertrigger, waarbij de trigger de begin- en eindtijd van het venster en de aangepaste gebeurtenistrigger biedt, waarbij triggerparse- en proceswaarden in het aangepaste gedefinieerde gegevensveld worden geparseerd en verwerkt.

Notitie

Verschillende triggertypen bieden verschillende metagegevens. Zie Systeemvariabele voor meer informatie

Gebruikersinterface van Data Factory

In deze sectie wordt beschreven hoe u metagegevens van trigger naar pijplijn doorgeeft in de gebruikersinterface van Azure Data Factory.

1. Ga naar het ontwerpcanvas en bewerk een pijplijn

2. Selecteer op het lege canvas om pijplijninstellingen weer te geven. Selecteer geen activiteit. Mogelijk moet u het instellingspaneel onder aan het canvas ophalen, omdat het mogelijk is samengevouwen

3. Selecteer de sectie Parameters en selecteer + Nieuw om parameters toe te voegen

   

4. Voeg triggers toe aan de pijplijn door op + Trigger te klikken.

5. Een trigger maken of koppelen aan de pijplijn en OK selecteren

6. Nadat u OK hebt geselecteerd, wordt een andere pagina Nieuwe trigger weergegeven met een lijst met de parameters die zijn opgegeven voor de pijplijn, zoals wordt weergegeven in de volgende schermopname. Vul op die pagina metagegevens van triggers in voor elke parameter. Gebruik de indeling die is gedefinieerd in systeemvariabele om triggergegevens op te halen. U hoeft de informatie voor alle parameters niet in te vullen, alleen de parameters die ervan uitgaan dat metagegevenswaarden worden geactiveerd. Hier wijzen we bijvoorbeeld de starttijd van de triggeruitvoering toe aan parameter_1.

   

7. Als u de waarden in de pijplijn wilt gebruiken, gebruikt u parameters @pipeline().parameters.parameterName, niet systeemvariabele, in pijplijndefinities. Als u bijvoorbeeld de begintijd van de trigger wilt lezen, verwijzen we naar @pipeline().parameters.parameter_1.

JSON-schema

Als u triggergegevens wilt doorgeven aan pijplijnuitvoeringen, moeten zowel de trigger als de pijplijn-json worden bijgewerkt met de parameterssectie .

Pijplijndefinitie

Voeg onder de sectie Eigenschappen parameterdefinities toe aan de sectie Parameters

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_2",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Triggerdefinitie

Wijs in de sectie Pijplijnen parameterwaarden toe in de sectie parameters. U hoeft de informatie voor alle parameters niet in te vullen, alleen de parameters die ervan uitgaan dat metagegevenswaarden worden geactiveerd.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Triggergegevens gebruiken in de pijplijn

Als u de waarden in de pijplijn wilt gebruiken, gebruikt u parameters @pipeline().parameters.parameterName, niet systeemvariabele, in pijplijndefinities.

Gerelateerde inhoud

Zie Pijplijnuitvoering en triggers voor gedetailleerde informatie over triggers.