Toewijzingsgegevensstromen in Azure Data Factory

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Wat zijn toewijzingsgegevensstromen?

Toewijzingsgegevensstromen zijn visueel ontworpen gegevenstransformaties in Azure Data Factory. Met gegevensstromen kunnen data engineers logica voor gegevenstransformatie ontwikkelen zonder code te schrijven. De resulterende gegevensstromen worden uitgevoerd als activiteiten in Azure Data Factory pijplijnen die gebruikmaken van Apache Spark clusters. Gegevensstroomactiviteiten kunnen worden operationeel gemaakt met behulp Azure Data Factory mogelijkheden voor planning, controle, stroom en bewaking.

Toewijzingsgegevensstromen bieden een volledig visuele ervaring zonder dat codering is vereist. Uw gegevensstromen worden uitgevoerd op ADF-beheerde uitvoeringsclusters voor geschaalde gegevensverwerking. Azure Data Factory verwerkt alle codevertaling, padoptimalisatie en uitvoering van uw gegevensstroomtaken.

Aan de slag

Gegevensstromen worden gemaakt vanuit het deelvenster factory-resources, zoals pijplijnen en gegevenssets. Als u een gegevensstroom wilt maken, selecteert u het plusteken naast Factory-resources en selecteert u vervolgens Data Flow.

Met deze actie gaat u naar het gegevensstroom-canvas, waar u uw transformatielogica kunt maken. Selecteer Bron toevoegen om de brontransformatie te configureren. Zie Brontransformatie voor meer informatie.

Gegevensstromen maken

Toewijzingsgegevensstroom heeft een uniek ontwerpvas dat is ontworpen om het bouwen van transformatielogica eenvoudig te maken. Het canvas voor de gegevensstroom bestaat uit drie delen: de bovenste balk, de grafiek en het configuratiepaneel.

Graph

In de grafiek wordt de transformatiestroom weergegeven. Het toont de herkomst van brongegevens wanneer deze naar een of meer sinks stromen. Als u een nieuwe bron wilt toevoegen, selecteert u Bron toevoegen. Als u een nieuwe transformatie wilt toevoegen, selecteert u het plusteken rechts onder aan een bestaande transformatie. Meer informatie over het beheren van de gegevensstroomgrafiek.

Configuratiepaneel

In het configuratievenster worden de instellingen weergegeven die specifiek zijn voor de geselecteerde transformatie. Als er geen transformatie is geselecteerd, wordt de gegevensstroom weer geven. In de algehele configuratie van de gegevensstroom kunt u parameters toevoegen via het tabblad Parameters. Zie Parameters voor toewijzingsgegevensstromen voor meer informatie.

Elke transformatie bevat ten minste vier configuratietabbladen.

Transformatie-instellingen

Het eerste tabblad in het configuratiedeelvenster van elke transformatie bevat de instellingen die specifiek zijn voor die transformatie. Zie de documentatiepagina van de transformatie voor meer informatie.

Optimaliseren

Het tabblad Optimaliseren bevat instellingen voor het configureren van partitioneringsschema's. Zie de prestatiehandleiding voor toewijzingsgegevensstromen voor meer informatie over het optimaliseren van uw gegevensstromen.

Inspecteren

Het tabblad Inspecteren biedt een weergave van de metagegevens van de gegevensstroom die u transformeert. U ziet het aantal kolommen, de gewijzigde kolommen, de toegevoegde kolommen, gegevenstypen, de kolomorder en kolomverwijzingen. Inspecteren is een alleen-lezenweergave van uw metagegevens. U hoeft de foutopsporingsmodus niet in te schakelen om metagegevens weer te geven in het deelvenster Inspecteren.

Wanneer u de vorm van uw gegevens wijzigt via transformaties, ziet u de stroom metagegevenswijzigingen in het deelvenster Inspecteren. Als uw brontransformatie geen gedefinieerd schema bevat, zijn metagegevens niet zichtbaar in het deelvenster Inspecteren. Gebrek aan metagegevens is gebruikelijk in schemadriftscenario's.

Voorbeeld van gegevens

Als de foutopsporingsmodus is geselecteerd, geeft het tabblad Gegevensvoorbeeld u een interactieve momentopname van de gegevens bij elke transformatie. Zie Voorbeeld van gegevens in de foutopsporingsmodus voor meer informatie.

Bovenste balk

De bovenste balk bevat acties die van invloed zijn op de hele gegevensstroom, zoals opslaan en valideren. U kunt ook het onderliggende JSON-code- en gegevensstroomscript van uw transformatielogica bekijken. Meer informatie over het gegevensstroomscriptvindt u hier.

Beschikbare transformaties

Bekijk het overzicht van de transformatie van toewijzingsgegevensstromen voor een lijst met beschikbare transformaties.

Gegevenstypen van gegevensstromen

• matrix
• binair
• booleaans
• Complexe
• decimaal (inclusief precisie)
• date
• float
• geheel getal
• long
• map
• Korte
• tekenreeks
• tijdstempel

Gegevensstroomactiviteit

Toewijzingsgegevensstromen worden operationeel gemaakt in ADF-pijplijnen met behulp van de gegevensstroomactiviteit. Het enige wat een gebruiker hoeft te doen, is opgeven welke integratieruntime moet worden gebruikt en parameterwaarden moeten worden doorgegeven. Meer informatie over de Azure Integration Runtimevindt u hier.

Foutopsporingsmodus

Met de foutopsporingsmodus kunt u interactief de resultaten van elke transformatiestap bekijken tijdens het bouwen en opsporen van fouten in uw gegevensstromen. De foutopsporingssessie kan zowel in worden gebruikt bij het bouwen van uw gegevensstroomlogica als bij het uitvoeren van pijplijnbug-runs met gegevensstroomactiviteiten. Zie de documentatie over de foutopsporingsmodus voor meer informatie.

Gegevensstromen bewaken

Toewijzingsgegevensstroom kan worden geïntegreerd met bestaande Azure Data Factory bewakingsmogelijkheden. Zie Bewaking van toewijzingsgegevensstromen voor meer informatie over de bewakingsuitvoer van gegevensstromen.

Het Azure Data Factory heeft een handleiding voor het afstemmen van de prestaties gemaakt om u te helpen de uitvoeringstijd van uw gegevensstromen te optimaliseren na het bouwen van uw bedrijfslogica.

Beschikbare regio's

Toewijzingsgegevensstromen zijn beschikbaar in de volgende regio's in ADF:

Volgende stappen

• Meer informatie over het maken van een brontransformatie.
• Meer informatie over het bouwen van uw gegevensstromen in de foutopsporingsmodus.