Flux de données de mappage dans Azure Data FactoryMapping data flows in Azure Data Factory

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Que sont les flux de données de mappage ?What are mapping data flows?

Les mappages de flux de données sont des transformations de données conçues de manière graphique dans Azure Data Factory.Mapping data flows are visually designed data transformations in Azure Data Factory. Les flux de données permettent aux ingénieurs de données de développer une logique de transformation des données sans rédiger de code.Data flows allow data engineers to develop data transformation logic without writing code. Les flux de données qui en résultent sont exécutés en tant qu'activités dans les pipelines Azure Data Factory qui utilisent des clusters Apache Spark faisant l'objet d'un scale-out.The resulting data flows are executed as activities within Azure Data Factory pipelines that use scaled-out Apache Spark clusters. Les activités de flux de données peuvent être mises en œuvre à l’aide de fonctionnalités de planification, de contrôle, de flux et de supervision Azure Data Factory existantes.Data flow activities can be operationalized using existing Azure Data Factory scheduling, control, flow, and monitoring capabilities.

Le flux de données de mappage fournit une expérience entièrement visuelle sans aucun codage.Mapping data flows provide an entirely visual experience with no coding required. Vos flux de données sont exécutés sur les clusters d'exécution gérés par ADF pour un traitement des données faisant l'objet d'un scale-out.Your data flows run on ADF-managed execution clusters for scaled-out data processing. Azure Data Factory gère intégralement la traduction du code, l’optimisation du chemin et l'exécution de vos travaux de flux de données.Azure Data Factory handles all the code translation, path optimization, and execution of your data flow jobs.

Prise en mainGetting started

Les flux de données sont créés à partir du volet Ressources de la fabrique, comme les pipelines et jeux de données.Data flows are created from the factory resources pane like pipelines and datasets. Pour créer un flux de données, sélectionnez le signe plus (+) en regard de Ressources Factory, puis sélectionnez Flux de données.To create a data flow, select the plus sign next to Factory Resources, and then select Data Flow.

Nouveau flux de données

Vous accédez au canevas du flux de données dans lequel vous pouvez créer votre logique de transformation.This action takes you to the data flow canvas, where you can create your transformation logic. Sélectionnez Ajouter une source pour commencer à configurer votre transformation de la source.Select Add source to start configuring your source transformation. Pour plus d’informations, consultez Transformation de la source.For more information, see Source transformation.

Création de flux de donnéesAuthoring data flows

Le flux de données de mappage a un canevas de création unique conçu pour faciliter la création de logique de transformation.Mapping data flow has a unique authoring canvas designed to make building transformation logic easy. Le canevas de flux de données est divisé en trois parties : la barre supérieure, le graphe et le panneau de configuration.The data flow canvas is separated into three parts: the top bar, the graph, and the configuration panel.

Capture d’écran montrant le canevas du flux de données avec la barre supérieure, le graphique et le panneau de configuration étiquetés.Screenshot shows the data flow canvas with top bar, graph, and configuration panel labeled.

GraphGraph

Le graphe affiche le flux de transformation.The graph displays the transformation stream. Il montre la traçabilité des données sources à mesure qu’elles sont transmises à un ou plusieurs récepteurs.It shows the lineage of source data as it flows into one or more sinks. Pour ajouter une nouvelle source, sélectionnez Ajouter une source.To add a new source, select Add source. Pour ajouter une nouvelle transformation, sélectionnez le signe plus (+) situé dans la partie inférieure droite d’une transformation existante.To add a new transformation, select the plus sign on the lower right of an existing transformation. Apprenez à gérer le graphique des flux de données.Learn more on how to manage the data flow graph.

Capture d’écran montrant la partie graphique du canevas avec une zone de texte de recherche.

Panneau de configurationConfiguration panel

Le panneau de configuration affiche les paramètres spécifiques à la transformation actuellement sélectionnée.The configuration panel shows the settings specific to the currently selected transformation. Si aucune transformation n’est sélectionnée, le flux de données est affiché.If no transformation is selected, it shows the data flow. Dans la configuration globale du flux de données, vous pouvez ajouter des paramètres via l’onglet Paramètres. Pour plus d’informations, consultez Paramètres du mappage de flux de données.In the overall data flow configuration, you can add parameters via the Parameters tab. For more information, see Mapping data flow parameters.

Chaque transformation contient au moins quatre onglets de configuration.Each transformation contains at least four configuration tabs.

Paramètres de transformationTransformation settings

Le premier onglet du volet de configuration de chaque transformation contient les paramètres spécifiques à cette transformation.The first tab in each transformation's configuration pane contains the settings specific to that transformation. Pour plus d’informations, reportez-vous à la page de documentation de cette transformation.For more information, see that transformation's documentation page.

Onglet Paramètres de la sourceSource settings tab

OptimiserOptimize

L’onglet Optimiser contient des paramètres pour configurer des schémas de partitionnement.The Optimize tab contains settings to configure partitioning schemes. Pour en savoir plus sur l’optimisation de vos flux de données, consultez le Guide des performances de flux de données de mappage.To learn more about how to optimize your data flows, see the mapping data flow performance guide.

La capture d’écran montre l’onglet Optimiser, qui comprend l’option Partition, Type de partition et Nombre de partitions.

InspecterInspect

Le volet Inspecter permet de visualiser les métadonnées du flux de données que vous êtes en train de transformer.The Inspect tab provides a view into the metadata of the data stream that you're transforming. Vous pouvez voir le nombre de colonnes, les colonnes modifiées, les colonnes ajoutées, les types de données, l'ordre des colonnes et les références des colonnes.You can see column counts, the columns changed, the columns added, data types, the column order, and column references. Inspecter est un affichage en lecture seule de vos métadonnées.Inspect is a read-only view of your metadata. Il n’est pas nécessaire que le mode de débogage soit activé pour voir les métadonnées dans le volet Inspecter.You don't need to have debug mode enabled to see metadata in the Inspect pane.

InspecterInspect

À mesure que vous modifiez la forme de vos données par le biais de transformations, les changements de métadonnées sont visibles dans le volet Inspecter.As you change the shape of your data through transformations, you'll see the metadata changes flow in the Inspect pane. Si votre transformation de la source ne comporte pas de schéma défini, les métadonnées ne sont pas visibles dans le volet Inspecter.If there isn't a defined schema in your source transformation, then metadata won't be visible in the Inspect pane. L’absence de métadonnées est fréquent dans les scénarios de dérive de schéma.Lack of metadata is common in schema drift scenarios.

Aperçu des donnéesData preview

Si le mode de débogage est activé, l’onglet Aperçu des données vous donne une capture instantanée interactive des données à chaque transformation.If debug mode is on, the Data Preview tab gives you an interactive snapshot of the data at each transform. Pour en savoir plus, consultez Aperçu des données en mode de débogage.For more information, see Data preview in debug mode.

Barre supérieureTop bar

La barre supérieure contient des actions qui affectent l’ensemble du flux de données comme l’enregistrement et la validation.The top bar contains actions that affect the whole data flow, like saving and validation. Vous pouvez également afficher le code JSON sous-jacent et le script de flux de données de votre logique de transformation.You can view the underlying JSON code and data flow script of your transformation logic as well. Pour plus d’informations, consultez le script de flux de données.For more information, learn about the data flow script.

Transformations disponiblesAvailable transformations

Pour obtenir la liste des transformations disponibles, consultez la Vue d’ensemble de la transformation de flux de données de mappage.View the mapping data flow transformation overview to get a list of available transformations.

Activité de flux de donnéesData flow activity

Les flux de données de mappage sont mis en œuvre dans les pipelines ADF à l’aide de l’activité de flux de données.Mapping data flows are operationalized within ADF pipelines using the data flow activity. Il suffit à l’utilisateur de spécifier le runtime d’intégration à utiliser et de passer des valeurs de paramètre.All a user has to do is specify which integration runtime to use and pass in parameter values. Pour plus d’informations, consultez Runtime d’intégration Azure.For more information, learn about the Azure integration runtime.

Mode débogageDebug mode

Le mode débogage vous permet de voir de manière interactive les résultats de chaque étape de transformation pendant que vous générez et déboguez vos flux de données.Debug mode allows you to interactively see the results of each transformation step while you build and debug your data flows. La session de débogage peut être utilisée à la fois dans lors de la génération de votre logique de flux de données et l’exécution des exécutions de débogage de pipeline avec les activités de flux de données.The debug session can be used both in when building your data flow logic and running pipeline debug runs with data flow activities. Pour plus d’informations, consultez la documentation relative au mode de débogage.To learn more, see the debug mode documentation.

Surveillance des flux de donnéesMonitoring data flows

Le mappage du flux de données s’intègre aux fonctionnalités d’analyse existantes d’Azure Data Factory.Mapping data flow integrates with existing Azure Data Factory monitoring capabilities. Pour savoir comment comprendre la sortie de la surveillance du flux de données, consultez Supervision des flux de données de mappage.To learn how to understand data flow monitoring output, see monitoring mapping data flows.

L’équipe Azure Data Factory a créé un guide de réglage des performances pour vous aider à optimiser le temps d’exécution de vos flux de données après avoir généré votre logique métier.The Azure Data Factory team has created a performance tuning guide to help you optimize the execution time of your data flows after building your business logic.

Régions disponiblesAvailable regions

======= Les flux de données de mappage sont disponibles dans les régions suivantes dans ADF :======= Mapping data flows are available in the following regions in ADF:

Région AzureAzure region Flux de données dans ADFData flows in ADF
Centre de l’AustralieAustralia Central
Centre de l’Australie 2Australia Central 2
Australie EstAustralia East
Sud-Australie EstAustralia Southeast
Brésil SudBrazil South
Centre du CanadaCanada Central
Inde centraleCentral India
USA CentreCentral US
Chine orientaleChina East
Chine orientale 2China East 2
Chine Non-régionalChina Non-Regional
Chine du NordChina North
Chine Nord 2China North 2
Asie EstEast Asia
USA EstEast US
USA Est 2East US 2
France CentreFrance Central
France SudFrance South
Allemagne Centre (souverain)Germany Central (Sovereign)
Allemagne Non-régional (souverain)Germany Non-Regional (Sovereign)
Allemagne Nord (public)Germany North (Public)
Allemagne Nord-Est (souverain)Germany Northeast (Sovereign)
Allemagne Centre-Ouest (public)Germany West Central (Public)
Japon EstJapan East
OuJapon EstJapan West
Centre de la CoréeKorea Central
Corée du SudKorea South
Centre-Nord des États-UnisNorth Central US
Europe NordNorth Europe
Norvège EstNorway East
Norvège OuestNorway West
Afrique du Sud NordSouth Africa North
Afrique du Sud OuestSouth Africa West
États-Unis - partie centrale méridionaleSouth Central US
Inde SudSouth India
Asie Sud-EstSoutheast Asia
Suisse NordSwitzerland North
Suisse OuestSwitzerland West
Émirats arabes unis CentreUAE Central
Émirats arabes unis NordUAE North
Sud du Royaume-UniUK South
Ouest du Royaume-UniUK West
Centre des États-Unis – US DoDUS DoD Central
Est des États-Unis – US DoDUS DoD East
Gouvernement des États-Unis – ArizonaUS Gov Arizona
US Gov Non-RégionalUS Gov Non-Regional
Gouvernement des États-Unis – TexasUS Gov Texas
Gouvernement américain - VirginieUS Gov Virginia
Centre-USA OuestWest Central US
Europe OuestWest Europe
Inde OuestWest India
USA OuestWest US
USA Ouest 2West US 2

Étapes suivantesNext steps