Surveiller et gérer les pipelines Azure Data Factory à l’aide de l’application de surveillance et gestionMonitor and manage Azure Data Factory pipelines by using the Monitoring and Management app

Notes

Cet article s’applique à la version 1 de Data Factory.This article applies to version 1 of Data Factory. Si vous utilisez la version actuelle du service Data Factory, consultez Surveiller et gérer des pipelines Data Factory.If you are using the current version of the Data Factory service, see monitor and manage Data Factory pipelines in.

Cet article explique comment utiliser l’application de surveillance et gestion pour surveiller, gérer et déboguer vos pipelines Azure Data Factory.This article describes how to use the Monitoring and Management app to monitor, manage, and debug your Data Factory pipelines. Vous pouvez commencer à utiliser l’application en regardant la vidéo suivante :You can get started with using the application by watching the following video:

Notes

L’interface utilisateur présentée dans la vidéo ne correspondra peut-être pas exactement à ce que vous voyez dans le portail.The user interface shown in the video may not exactly match what you see in the portal. Elle est un peu plus ancienne, mais les concepts restent les mêmes.It's slightly older, but concepts remain the same.

Lancement de l’application de surveillance et gestionLaunch the Monitoring and Management app

Pour lancer l’application de surveillance et gestion, cliquez sur la vignette Surveiller et gérer dans le panneau Data Factory de votre fabrique de données.To launch the Monitor and Management app, click the Monitor & Manage tile on the Data Factory blade for your data factory.

Mosaïque Surveillance sur la page d’accueil de Data Factory

L’application de surveillance et gestion devrait s’ouvrir dans une nouvelle fenêtre.You should see the Monitoring and Management app open in a separate window.

Application de surveillance et gestion

Notes

Si vous voyez que le navigateur web est bloqué au niveau « Autorisation ... », désactivez la case à cocher Bloquer les cookies et les données de site tiers ou laissez cette option sélectionnée, créez une exception pour login.microsoftonline.com, puis réessayez d’ouvrir l’application.If you see that the web browser is stuck at "Authorizing...", clear the Block third-party cookies and site data check box--or keep it selected, create an exception for login.microsoftonline.com, and then try to open the app again.

Dans la liste Activity Windows (Fenêtres d’activité), dans le volet central, vous pouvez voir une fenêtre d’activité pour chaque exécution d’une activité.In the Activity Windows list in the middle pane, you see an activity window for each run of an activity. Par exemple, si l’activité est planifiée pour s’exécuter toutes les heures pendant cinq heures, vous voyez cinq fenêtres d’activité associées à cinq tranches de données.For example, if you have the activity scheduled to run hourly for five hours, you see five activity windows associated with five data slices. Si vous ne voyez pas de fenêtre d’activité dans la liste du bas, procédez comme suit :If you don't see activity windows in the list at the bottom, do the following:

  • Mettez à jour les filtres Heure de départ et Heure de fin en haut de la fenêtre pour adapter les heures de départ et de fin de votre pipeline, puis cliquez sur le bouton Appliquer.Update the start time and end time filters at the top to match the start and end times of your pipeline, and then click the Apply button.
  • La liste Activity Windows (Fenêtres d’activité) n’est pas actualisée automatiquement.The Activity Windows list is not automatically refreshed. Cliquez sur le bouton Actualiser dans la barre d’outils de la liste Activity Windows (Fenêtres d’activité).Click the Refresh button on the toolbar in the Activity Windows list.

Si vous ne disposez pas d’une application de fabrique de données pour tester ces étapes, suivez ce didacticiel : Copie de données de Stockage Blob vers SQL Database à l’aide de Data Factory.If you don't have a Data Factory application to test these steps with, do the tutorial: copy data from Blob Storage to SQL Database using Data Factory.

Présentation de l’application de surveillance et gestionUnderstand the Monitoring and Management app

Il existe trois onglets sur la gauche : Explorateur de ressources, Vues de surveillance et Alertes.There are three tabs on the left: Resource Explorer, Monitoring Views, and Alerts. Le premier onglet (Explorateur de ressources) est sélectionné par défaut.The first tab (Resource Explorer) is selected by default.

Explorateur de ressourcesResource Explorer

Vous voyez l'affichage suivant :You see the following:

  • L’arborescence de l’Explorateur de ressources dans le volet gauche.The Resource Explorer tree view in the left pane.
  • Le vue schématique en haut du volet central.The Diagram View at the top in the middle pane.
  • La liste d’activités Windows en bas du volet central.The Activity Windows list at the bottom in the middle pane.
  • Les onglets Propriétés, Explorateur de fenêtres d’activités et Script dans le volet de droite.The Properties, Activity Window Explorer, and Script tabs in the right pane.

Dans l’explorateur de ressources, vous pouvez voir toutes les ressources (pipelines, groupes de données, services liés) organisées en arborescence dans la fabrique de données.In Resource Explorer, you see all resources (pipelines, datasets, linked services) in the data factory in a tree view. Lorsque vous sélectionnez un objet dans l’Explorateur de ressources :When you select an object in Resource Explorer:

  • L’entité Data Factory associée est mise en surbrillance dans la vue schématique.The associated Data Factory entity is highlighted in the Diagram View.
  • Les fenêtres d’activité associées sont mises en évidence dans la liste des fenêtres d’activité en bas de la page.Associated activity windows are highlighted in the Activity Windows list at the bottom.
  • Les propriétés de l’objet sélectionné s’affichent dans la fenêtre Propriétés du volet droit.The properties of the selected object are shown in the Properties window in the right pane.
  • La définition JSON de l’objet sélectionné apparaît, le cas échéant.The JSON definition of the selected object is shown, if applicable. Par exemple : un service lié, un jeu de données ou un pipeline.For example: a linked service, a dataset, or a pipeline.

Explorateur de ressources

Consultez l’article Planification et exécution pour obtenir des informations conceptuelles détaillées sur les fenêtres d’activité.See the Scheduling and Execution article for detailed conceptual information about activity windows.

Vue du diagrammeDiagram View

La vue schématique d'une fabrique de données est un point unique de surveillance et de gestion d’une fabrique de données et de ses ressources.The Diagram View of a data factory provides a single pane of glass to monitor and manage a data factory and its assets. Lorsque vous sélectionnez une entité Data Factory (jeu de données/pipeline) dans la vue schématique :When you select a Data Factory entity (dataset/pipeline) in the Diagram View:

  • L’entité Data Factory est sélectionnée dans l’arborescence.The data factory entity is selected in the tree view.
  • Les fenêtres d’activité associées sont mises en surbrillance dans la liste des fenêtres d’activité.The associated activity windows are highlighted in the Activity Windows list.
  • Les propriétés de l’objet sélectionné s’affichent dans la fenêtre Propriétés.The properties of the selected object are shown in the Properties window.

Lorsque le pipeline est activé (il n’est alors pas en pause), la barre de sa mosaïque est verte :When the pipeline is enabled (not in a paused state), it's shown with a green line:

Pipeline en cours d’exécution

Vous pouvez suspendre, reprendre ou arrêter un pipeline en le sélectionnant dans la vue schématique et en utilisant les boutons de la barre de commandes.You can pause, resume, or terminate a pipeline by selecting it in the diagram view and using the buttons on the command bar.

Mettre en pause/relancer depuis la barre de commandes

La vue schématique comporte trois boutons de barre de commandes dédiés au pipeline.There are three command bar buttons for the pipeline in the Diagram View. Vous pouvez utiliser le deuxième bouton pour mettre en pause le pipeline.You can use the second button to pause the pipeline. La mise en pause n’interrompt pas les activités en cours et les laisse se terminer.Pausing doesn't terminate the currently running activities and lets them proceed to completion. Le troisième bouton permet de mettre en pause le pipeline et d’interrompre ses activités en cours.The third button pauses the pipeline and terminates its existing executing activities. Le premier bouton permet de relancer le pipeline.The first button resumes the pipeline. Lorsque votre pipeline est suspendu, il change de couleur.When your pipeline is paused, the color of the pipeline changes. Par exemple, un pipeline suspendu se présente comme illustré ci-après :For example, a paused pipeline looks like in the following image:

Pipeline suspendu

Vous pouvez sélectionner deux pipelines ou plus en maintenant la touche Ctrl enfoncée.You can multi-select two or more pipelines by using the Ctrl key. Pour mettre en pause/relancer plusieurs pipelines simultanément, utilisez les boutons de la barre de commandes.You can use the command bar buttons to pause/resume multiple pipelines at a time.

Vous pouvez également cliquer sur un pipeline avec le bouton droit et sélectionner les options appropriées pour le suspendre, le reprendre ou l’arrêter.You can also right-click a pipeline and select options to suspend, resume, or terminate a pipeline.

Menu contextuel pour un pipeline

Cliquez sur l’option Ouvrir le pipeline pour afficher toutes les activités dans le pipeline.Click the Open pipeline option to see all the activities in the pipeline.

Menu Ouvrir un pipeline

Dans la vue du pipeline ouvert, vous voyez toutes les activités dans le pipeline.In the opened pipeline view, you see all activities in the pipeline. Dans cet exemple, le pipeline ne contient qu’une seule activité : une activité de copie.In this example, there is only one activity: Copy Activity.

Pipeline ouvert

Pour revenir à la vue précédente, cliquez sur le nom de la fabrique de données dans le menu de navigation en haut de la page.To go back to the previous view, click the data factory name in the breadcrumb menu at the top.

Dans la vue du pipeline, lorsque vous sélectionnez un jeu de données de sortie ou que vous le survolez avec la souris, la fenêtre contextuelle d’activité correspondante s’affiche.In the pipeline view, when you select an output dataset or when you move your mouse over the output dataset, you see the Activity Windows pop-up window for that dataset.

Fenêtre contextuelle d’activité Windows

Vous pouvez cliquer sur une fenêtre d’activité pour afficher ses détails dans la fenêtre Propriétés du volet droit.You can click an activity window to see details for it in the Properties window in the right pane.

Propriétés des fenêtres d’activité

Dans le volet droit, affichez l’onglet Explorateur de fenêtres d’activité pour afficher plus de détails.In the right pane, switch to the Activity Window Explorer tab to see more details.

Explorateur de fenêtres d’activité

Vous voyez également les variables résolues pour chaque tentative d’exécution d’une activité dans la section Tentatives.You also see resolved variables for each run attempt for an activity in the Attempts section.

Variables résolues

Affichez l’onglet Script pour afficher la définition du script JSON pour l’objet sélectionné.Switch to the Script tab to see the JSON script definition for the selected object.

Onglet Script

Les fenêtres d’activité s’affichent à trois emplacements différents :You can see activity windows in three places:

  • La fenêtre contextuelle d’activité dans la vue schématique (volet central).The Activity Windows pop-up in the Diagram View (middle pane).
  • L’Explorateur de fenêtres d’activité dans le volet droit.The Activity Window Explorer in the right pane.
  • La liste des fenêtres d’activité dans le volet inférieur.The Activity Windows list in the bottom pane.

Dans la fenêtre contextuelle et l’Explorateur de fenêtres d’activité, vous pouvez passer à la semaine précédente ou suivante à l’aide des flèches gauche et droite.In the Activity Windows pop-up and Activity Window Explorer, you can scroll to the previous week and the next week by using the left and right arrows.

Flèches gauche/droite de l’Explorateur de fenêtres d’activité

En bas de la vue schématique figurent les boutons suivants : zoom avant, zoom arrière, zoom d’ajustement, zoom à 100 %, verrouiller la disposition.At the bottom of the Diagram View, you see these buttons: Zoom In, Zoom Out, Zoom to Fit, Zoom 100%, Lock layout. Le bouton Verrouiller la disposition vous empêche de déplacer accidentellement des tables et des pipelines dans la vue schématique.The Lock layout button prevents you from accidentally moving tables and pipelines in the Diagram View. L’option est activée par défaut.It's on by default. Vous pouvez la désactiver et déplacer des entités dans la vue schématique.You can turn it off and move entities around in the diagram. Lorsque vous la désactivez, vous pouvez utiliser le dernier bouton pour positionner automatiquement les tables et les pipelines.When you turn it off, you can use the last button to automatically position tables and pipelines. Vous pouvez également effectuer des zooms avant et arrière à l’aide de la roulette de la souris.You can also zoom in or out by using the mouse wheel.

Commandes de zoom de la vue schématique

Liste des fenêtres d’activitéActivity Windows list

La liste des fenêtres d’activité dans la partie inférieure du volet central affiche toutes les fenêtres d’activité du jeu de données que vous avez sélectionné dans l’Explorateur de ressources ou la vue schématique.The Activity Windows list at the bottom of the middle pane displays all activity windows for the dataset that you selected in the Resource Explorer or the Diagram View. Par défaut, la liste est en ordre décroissant, ce qui signifie que la fenêtre d’activité la plus récente s’affiche en premier.By default, the list is in descending order, which means that you see the latest activity window at the top.

Liste des fenêtres d’activité

Cette liste ne s’actualise pas automatiquement. Pour l’actualiser manuellement, utilisez le bouton d’actualisation de la barre d’outils.This list doesn't refresh automatically, so use the refresh button on the toolbar to manually refresh it.

Les fenêtres d’activité peuvent avoir l’un des statuts suivants :Activity windows can be in one of the following statuses:

StatutStatusÉtat secondaireSubstatusDescriptionDescription
En attenteWaitingScheduleTimeScheduleTimeL’heure d’exécution de la fenêtre d’activité n’est pas encore venue.The time hasn't come for the activity window to run.
DatasetDependenciesDatasetDependenciesLes dépendances en amont ne sont pas prêtes.The upstream dependencies aren't ready.
ComputeResourcesComputeResourcesLes ressources de calcul ne sont pas disponibles.The compute resources aren't available.
ConcurrencyLimitConcurrencyLimit Toutes les instances d’activité sont occupées par l’exécution d’autres fenêtres d’activité.All the activity instances are busy running other activity windows.
ActivityResumeActivityResumeL’activité est mise en pause et ne peut pas exécuter les fenêtres d’activité jusqu’à sa reprise.The activity is paused and can't run the activity windows until it's resumed.
RetryRetryL’exécution de l’activité est retentée.The activity execution is being retried.
ValidationValidationLa validation n’a pas encore démarré.Validation hasn't started yet.
ValidationRetryValidationRetryUne nouvelle tentative de validation va avoir lieu.Validation is waiting to be retried.
InProgressInProgressValidationValidatingLa validation est en cours.Validation is in progress.
- La fenêtre d’activité est en cours de traitement.The activity window is being processed.
ÉchecFailedTimedOutTimedOutL'exécution de l’activité a pris plus de temps que l’activité ne l’autorise.The activity execution took longer than what is allowed by the activity.
CanceledCanceledLa fenêtre d’activité a été annulée par l’utilisateur.The activity window was canceled by user action.
ValidationValidationLa validation a échoué.Validation has failed.
-La génération ou la validation de la fenêtre d’activité ont échoué.The activity window failed to be generated or validated.
ReadyReady-La fenêtre d’activité est prête à être consommée.The activity window is ready for consumption.
IgnoréSkipped-La fenêtre d’activité n’a pas été traitée.The activity window wasn't processed.
AucunNone-Fenêtre d’activité qui a été réinitialisée alors qu’elle existait avec un statut différent.An activity window used to exist with a different status, but has been reset.

Quand vous cliquez sur une fenêtre d’activité dans la liste, les détails la concernant s’affichent dans l’Explorateur de fenêtres d’activité ou dans la fenêtre Propriétés sur la droite.When you click an activity window in the list, you see details about it in the Activity Windows Explorer or the Properties window on the right.

Explorateur de fenêtres d’activité

Actualiser les fenêtres d’activitéRefresh activity windows

Les détails ne sont pas automatiquement actualisés. Pour actualiser manuellement la liste des fenêtres d’activité, utilisez le bouton Actualiser (le deuxième) dans la barre de commandes.The details aren't automatically refreshed, so use the refresh button (the second button) on the command bar to manually refresh the activity windows list.

Fenêtre PropriétésProperties window

La fenêtre Propriétés se trouve dans le volet situé tout à droite de l’application de surveillance et gestion.The Properties window is in the right-most pane of the Monitoring and Management app.

Fenêtre Propriétés

Elle affiche les propriétés de l’élément que vous avez sélectionné dans l’Explorateur de ressources (arborescence), la vue schématique ou la liste des fenêtres d’activité.It displays properties for the item that you selected in the Resource Explorer (tree view), Diagram View, or Activity Windows list.

Explorateur de fenêtres d’activitéActivity Window Explorer

L ’Explorateur de fenêtres d’activité se trouve dans le volet situé tout à droite de l’application de surveillance et gestion.The Activity Window Explorer window is in the right-most pane of the Monitoring and Management app. Il affiche des détails sur la fenêtre d’activité que vous avez sélectionnée dans la fenêtre contextuelle ou la liste des fenêtres d’activité.It displays details about the activity window that you selected in the Activity Windows pop-up window or the Activity Windows list.

Explorateur de fenêtres d’activité

Vous pouvez passer à une autre fenêtre d’activité en cliquant dessus dans la vue calendaire en haut de l’écran.You can switch to another activity window by clicking it in the calendar view at the top. Vous pouvez également utiliser les boutons flèche gauche/flèche droite en haut de l’écran pour afficher les fenêtres d’activité de la semaine précédente ou suivante.You can also use the left arrow/right arrow buttons at the top to see activity windows from the previous week or the next week.

Vous pouvez utiliser les boutons de la barre d’outils dans le volet inférieur pour réexécuter la fenêtre d’activité ou actualiser les détails affichés dans le volet.You can use the toolbar buttons in the bottom pane to rerun the activity window or refresh the details in the pane.

ScriptScript

Vous pouvez utiliser l’onglet Script pour afficher la définition JSON de l’entité Data Factory sélectionnée (service lié, jeu de données et pipeline).You can use the Script tab to view the JSON definition of the selected Data Factory entity (linked service, dataset, or pipeline).

Onglet Script

Utiliser les vues systèmeUse system views

L’application de surveillance et gestion inclut des vues système intégrées (Fenêtres d’activité récentes, Fenêtres d’activité ayant échoué, Fenêtres d’activité en cours), qui vous permettent d’afficher les fenêtres d’activité (récentes, ayant échoué et en cours) de votre fabrique de données.The Monitoring and Management app includes pre-built system views (Recent activity windows, Failed activity windows, In-Progress activity windows) that allow you to view recent/failed/in-progress activity windows for your data factory.

Affichez l’onglet Vues de surveillance sur la gauche en cliquant dessus.Switch to the Monitoring Views tab on the left by clicking it.

Onglet Vues de surveillance

Actuellement, trois vues système sont prises en charge.Currently, there are three system views that are supported. Sélectionnez une option pour afficher les fenêtres d’activité récentes, ayant échoué, ou en cours dans la liste des fenêtres d’activité (en bas du volet central).Select an option to see recent activity windows, failed activity windows, or in-progress activity windows in the Activity Windows list (at the bottom of the middle pane).

Quand vous sélectionnez l’option Fenêtres d’activité récentes, toutes les fenêtres d’activité récentes s’affichent dans l’ordre décroissant en fonction de l’heure de la dernière tentative.When you select the Recent activity windows option, you see all recent activity windows in descending order of the last attempt time.

Vous pouvez utiliser la vue Fenêtres d’activité ayant échoué pour afficher toutes les fenêtres d’activité de la liste qui ont échoué.You can use the Failed activity windows view to see all failed activity windows in the list. Dans la liste, sélectionnez une fenêtre d’activité ayant échoué pour afficher les détails la concernant dans la fenêtre Propriétés ou dans l’Explorateur de fenêtres d’activité.Select a failed activity window in the list to see details about it in the Properties window or the Activity Window Explorer. Vous pouvez également télécharger tous les journaux d’activité d’une fenêtre d’activité ayant échoué.You can also download any logs for a failed activity window.

Trier et filtrer les fenêtres d’activitéSort and filter activity windows

Pour filtrer les fenêtres d’activité, modifiez les paramètres d’heure de début et d’heure de fin dans la barre de commandes.Change the start time and end time settings in the command bar to filter activity windows. Après avoir modifié les heures de début et de fin, cliquez sur le bouton en regard de l’heure de fin pour actualiser la liste des fenêtres d’activité.After you change the start time and end time, click the button next to the end time to refresh the Activity Windows list.

Heures de début et de fin

Notes

Pour l’instant, toutes les heures de l’application de surveillance et gestion sont au format UTC.Currently, all times are in UTC format in the Monitoring and Management app.

Dans la liste des fenêtres d’activité, cliquez sur le nom d’une colonne (par exemple, Statut).In the Activity Windows list, click the name of a column (for example: Status).

Menu déroulant de la liste des fenêtres d’activité

Vous pouvez effectuer les opérations suivantes :You can do the following:

  • Trier dans l’ordre croissant.Sort in ascending order.
  • Trier dans l’ordre décroissant.Sort in descending order.
  • Filtrer selon une ou plusieurs valeurs (Prêt, En attente, etc.).Filter by one or more values (Ready, Waiting, and so on).

Lorsque vous spécifiez un filtre sur une colonne, vous voyez que le bouton de filtrage est activé pour cette colonne afin d’indiquer que les valeurs filtrées sont celles de cette colonne.When you specify a filter on a column, you see the filter button enabled for that column, which indicates that the values in the column are filtered values.

Filtrer sur une colonne de la liste des fenêtres d’activité

Vous pouvez utiliser la même fenêtre contextuelle pour effacer les filtres.You can use the same pop-up window to clear filters. Pour effacer tous les filtres de la liste des fenêtres d’activité, cliquez sur le bouton Effacer le filtre dans la barre de commandes.To clear all filters for the Activity Windows list, click the clear filter button on the command bar.

Effacer tous les filtres de la liste des fenêtres d’activité

Exécuter des opérations de traitement par lotPerform batch actions

Réexécuter les fenêtres d’activité sélectionnéesRerun selected activity windows

Sélectionnez une fenêtre d’activité, cliquez sur la flèche vers le bas du premier bouton de la barre de commandes et sélectionnez Réexécuter / Réexécuter avec les fenêtres en amont dans le pipeline.Select an activity window, click the down arrow for the first command bar button, and select Rerun / Rerun with upstream in pipeline. L’option Réexécuter avec les fenêtres en amont dans le pipeline permet de réexécuter également toutes les fenêtres d’activité en amont.When you select the Rerun with upstream in pipeline option, it reruns all upstream activity windows as well. Réexécuter une fenêtre d’activitéRerun an activity window

Vous pouvez également sélectionner plusieurs fenêtres d’activité dans la liste et les réexécuter simultanément.You can also select multiple activity windows in the list and rerun them at the same time. Vous pouvez filtrer les fenêtres d’activité en fonction de leur statut (par exemple, Échec), puis réexécuter celles qui ont échoué après avoir corrigé le problème à l’origine de cet échec.You might want to filter activity windows based on the status (for example: Failed)--and then rerun the failed activity windows after correcting the issue that causes the activity windows to fail. Pour en savoir plus sur le filtrage des fenêtres d’activité dans la liste, consultez la section suivante.See the following section for details about filtering activity windows in the list.

Mettre en pause/relancer plusieurs pipelinesPause/resume multiple pipelines

Vous pouvez sélectionner 2 pipelines ou plus en maintenant la touche Ctrl enfoncée.You can multiselect two or more pipelines by using the Ctrl key. Pour les mettre en pause/les relancer, utilisez les boutons de la barre de commandes (mis en évidence dans le rectangle rouge de l’image suivante).You can use the command bar buttons (which are highlighted in the red rectangle in the following image) to pause/resume them.

Mettre en pause/relancer depuis la barre de commandes