Visuelles Überwachen von Azure Data Factory

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Tipp

Testen Sie Data Factory in Microsoft Fabric, eine All-in-One-Analyselösung für Unternehmen. Microsoft Fabric deckt alle Aufgaben ab, von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen, Business Intelligence und Berichterstellung. Erfahren Sie, wie Sie kostenlos eine neue Testversion starten!

Nachdem Sie eine Pipeline in Azure Data Factory erstellt und veröffentlicht haben, können Sie ihr einen Trigger zuordnen oder manuell eine Ad-hoc-Ausführung starten. Sie können Ihre gesamten Pipelineausführungen nativ über die Azure Data Factory-Benutzeroberfläche überwachen. Um die Benutzeroberfläche für die Überwachung zu öffnen, wählen Sie die Kachel Überwachen und verwalten im Blatt „Data Factory“ des Azure-Portals aus. Wenn Sie sich bereits auf der Benutzeroberfläche von ADF befinden, klicken Sie auf der linken Seitenleiste auf das Symbol Überwachen.

Alle Data Factory-Ausführungen werden standardmäßig in der lokalen Zeitzone des Browsers angezeigt. Wenn Sie die Zeitzone ändern, werden alle Datums- und Zeitfelder auf die ausgewählte Zeitzone ausgerichtet.

Überwachen der Pipelineausführungen

Die standardmäßige Überwachungsansicht ist eine Liste der ausgelösten Pipelineausführungen im ausgewählten Zeitraum. Sie können den Zeitbereich ändern und nach Status, Pipelinename oder Anmerkung filtern. Zeigen Sie auf die jeweilige Pipelineausführung, um ausführungsspezifische Aktionen wie das erneute Ausführen und den Verbrauchsbericht anzuzeigen.

Screenshot of list view for monitoring pipeline runs.

Das Raster der Pipelineausführungen enthält die folgenden Spalten:

Spaltenname Beschreibung
Pipeline Name Name der Pipeline
Run Start Startdatum und -uhrzeit der Pipelineausführung (MM/TT/JJJJ, HH:MM:SS AM/PM)
Ausführungsende Enddatum und -uhrzeit der Pipelineausführung (MM/TT/JJJJ, HH:MM:SS AM/PM)
Duration Dauer der Ausführung (hh:mm:ss)
Triggered By Name des Triggers, der die Pipeline gestartet hat
Status Fehlerhaft, Erfolgreich, In Bearbeitung, Abgebrochen oder In Warteschlange
Anmerkungen Einer Pipeline zugeordnete filterbare Tags
Parameter Parameter für die Pipelineausführung (Name-Wert-Paare)
Fehler Bei einem Fehler der Pipeline ist dies der Ausführungsfehler
Ausführen Original, Erneut ausführen oder Erneut ausführen (neueste Version)
Run ID ID der Pipelineausführung

Sie müssen die Schaltfläche Aktualisieren manuell auswählen, um die Liste der Pipeline- und Aktivitätsausführungen zu aktualisieren. Eine automatische Aktualisierung wird derzeit nicht unterstützt.

 Screenshot of refresh button.

Um die Ergebnisse einer Debugausführung anzuzeigen, wählen Sie die RegisterkarteDebuggen aus.

Screenshot of the view active debug runs icon.

Überwachung der Aktivitätsausführungen

Um eine ausführliche Ansicht der einzelnen Aktivitätsausführungen einer bestimmten Pipelineausführung anzuzeigen, klicken Sie auf den Namen der Pipeline.

Screenshot of view activity runs.

In der Listenansicht werden die Aktivitätsausführungen angezeigt, die den einzelnen Pipelineausführungen entsprechen. Zeigen Sie auf die jeweilige Aktivitätsausführung, um ausführungsspezifische Informationen wie die JSON-Eingabe, die JSON-Ausgabe und detaillierte aktivitätsspezifische Überwachungsfunktionen anzuzeigen.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Spaltenname Beschreibung
Activity Name Name der Aktivität innerhalb der Pipeline
Activity Type Der Typ der Aktivität, z. B. Copy, ExecuteDataFlow oder AzureMLExecutePipeline
Aktionen Symbole, die es Ihnen ermöglichen, JSON-Eingabeinformationen, JSON-Ausgabeinformationen oder detaillierte aktivitätsspezifische Benutzeroberflächen für die Überwachung anzuzeigen.
Run Start Startdatum und -uhrzeit der Aktivitätsausführung (MM/TT/JJJJ, HH:MM:SS AM/PM)
Duration Dauer der Ausführung (hh:mm:ss)
Status Fehlerhaft, Erfolgreich, In Bearbeitung oder Abgebrochen
Integration Runtime Für welche Integration Runtime die Aktivität ausgeführt wurde
Benutzereigenschaften Benutzerdefinierte Eigenschaften der Aktivität
Fehler Bei einer fehlerhaften Aktivität ist dies der Ausführungsfehler
Run ID ID der Aktivitätsausführung

Wenn eine Aktivität fehlerhaft war, können Sie auf das Symbol in der Fehlerspalte klicken, um die ausführliche Fehlermeldung anzuzeigen.

Screenshot of a notification with error details including error code, failure type, and error details.

Heraufstufen von Benutzereigenschaften für die Überwachung

Stufen Sie jede Pipelineaktivitätseigenschaft als Benutzereigenschaft höher, sodass sie zu einer von Ihnen überwachten Entität wird. Sie können z. B. die Eigenschaften Quelle und Ziel der Kopieraktivität in der Pipeline als Benutzereigenschaften höher stufen.

Hinweis

Sie können nur bis zu fünf Pipelineaktivitätseigenschaften als Benutzereigenschaften höher stufen.

Screenshot of create user properties.

Nachdem Sie die Benutzereigenschaften erstellt haben, können Sie sie in den Überwachungslistenansichten überwachen.

Screenshot of add columns for user properties to the activity runs list.

Wenn ein Tabellenname als Quelle für die Kopieraktivität dient, können Sie den Namen der Quelltabelle als Spalte in der Listenansicht für Aktivitätsausführungen überwachen.

Screenshot of activity runs list with columns for user properties.

Erneutes Ausführen von Pipelines und Aktivitäten

Das Verhalten beim erneuten Ausführen der Containeraktivitäten lautet wie folgt:

  • Wait: Die Aktivität verhält sich wie zuvor.
  • Set Variable: Die Aktivität verhält sich wie zuvor.
  • Filter: Die Aktivität verhält sich wie zuvor.
  • Die Until-Aktivität wertet den Ausdruck aus und durchläuft eine Schleife, bis die Bedingung erfüllt ist. Innere Aktivitäten können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden.
  • Die Foreach-Aktivität durchläuft immer eine Schleife für die empfangenen Elemente. Innere Aktivitäten können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden.
  • If and switch: Bedingungen werden immer ausgewertet. Alle internen Aktivitäten werden ausgewertet. Interne Aktivitäten können basierend auf den Wiederholungsregeln weiterhin übersprungen werden, aber Aktivitäten wie „Pipeline ausführen“ werden erneut ausgeführt.
  • Execute pipeline activity: Die untergeordnete Pipeline wird ausgelöst, aber alle Aktivitäten in der untergeordneten Pipeline können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden.

Um eine Pipeline, die bereits ausgeführt wurde, von Anfang an erneut auszuführen, zeigen Sie auf die jeweilige Pipelineausführung, und wählen Sie Erneut ausführen aus. Wenn Sie mehrere Pipelines auswählen, können Sie über die Schaltfläche Erneut ausführen alle erneut ausführen.

Screenshot of rerun a pipeline.

Wenn Sie die erneute Ausführung an einem bestimmten Punkt starten möchten, können Sie dies über die Ansicht der Aktivitätsausführungen erledigen. Wählen Sie die Aktivität aus, ab der Sie beginnen möchten, und wählen Sie Aktivität erneut ausführen aus.

Screenshot of rerun an activity run.

Sie können auch eine Pipeline erneut ausführen und die Parameter ändern. Wählen Sie die Schaltfläche Neue Parameter aus, um die Parameter zu ändern.

Screenshot of rerun an activity run with new parameters.

Hinweis

Das erneute Ausführen einer Pipeline mit neuen Parametern wird als neue Pipelineausführung betrachtet, sodass die Gruppen für eine Pipeline-Ausführung nicht angezeigt werden.

Ab fehlgeschlagener Aktivität erneut ausführen

Wenn eine Aktivität fehlschlägt, das Zeitlimit überschritten wird oder die Aktivität abgebrochen wird, können Sie die Pipeline ab der fehlgeschlagenen Aktivität erneut ausführen, indem Sie Ab fehlgeschlagener Aktivität erneut ausführen auswählen.

Screenshot of rerun failed activity.

Anzeigen des Verlaufs für erneute Ausführungen

Der Verlauf für erneute Ausführungen kann für alle Pipelineausführungen in der Listenansicht angezeigt werden.

Screenshot of view history.

Sie können aber auch den Verlauf für erneute Ausführungen für eine bestimmte Pipelineausführung anzeigen.

Screenshot of view history for a pipeline run.

Überwachen des Verbrauchs

Sie können die durch eine Pipelineausführung verbrauchten Ressourcen anzeigen, indem Sie neben der Ausführung auf das Symbol für Verbrauch klicken.

Screenshot that shows where you can see the resources consumed by a pipeline.

Wenn Sie auf das Symbol klicken, wird ein Verbrauchsbericht zu den durch diese Pipelineausführung genutzten Ressourcen geöffnet.

Screenshot of monitor consumption.

Sie können diese Werte mit dem Azure-Preisrechner verbinden, um die Kosten für die Pipelineausführung zu schätzen. Weitere Informationen zu Azure Data Factory-Preisen finden Sie unter Grundlegendes zu Preisen.

Hinweis

Diese vom Preisrechner zurückgegebenen Werte sind eine Schätzung. Sie geben nicht den genauen Betrag an, der Ihnen von Azure Data Factory in Rechnung gestellt wird.

Gantt-Ansichten

Ein Gantt-Diagramm ist eine Ansicht, über die Sie den Ausführungsverlauf über einen Zeitraum anzeigen können. Wenn Sie zu einer Gantt-Ansicht wechseln, werden alle Pipelineausführungen gruppiert nach dem Namen als Balken in Bezug auf die Ausführungsdauer dargestellt. Sie können auch nach Anmerkungen/Tags gruppieren, die Sie in Ihrer Pipeline erstellt haben. Die Gantt-Ansicht ist auch auf Ebene der Aktivitätsausführungen verfügbar.

Screenshot of an example of a Gantt chart.

Die Länge des Balkens informiert über die Dauer der Pipeline. Sie können auch den Balken auswählen, um weitere Details anzuzeigen.

Screenshot of a Gantt chart duration.

Alerts

Sie können Warnungen auf der Grundlage unterstützter Metriken in Data Factory auslösen. Wählen Sie dazu auf der Überwachungsseite von Data Factory die Option Überwachen>Warnungen und Metriken aus.

Screenshot of the Data factory Monitor page.

Das folgende Video enthält eine siebenminütige Einführung und Demonstration dieses Features:

Erstellen von Warnungen

  1. Wählen Sie Neue Warnungsregel aus, um eine neue Warnung zu erstellen.

    Screenshot of New Alert Rule button.

  2. Geben Sie den Namen der Warnungsregel an, und wählen Sie den Schweregrad der Warnung aus.

    Screenshot of boxes for rule name and severity.

  3. Wählen Sie die Warnungskriterien aus.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Sie können Warnungen für verschiedene Metriken erstellen, z. B. für Anzahl und Größe der ADF-Entität, Aktivitäts-, Pipeline- und Triggerausführung, CPU-Auslastung, Speicher, Knotenanzahl und Warteschlange von Integration Runtime (IR) sowie für SSIS-Paketausführungen und Vorgänge zum Starten und Beenden von SSIS IR.

  4. Konfigurieren Sie die Warnungslogik. Sie können eine Warnung für die ausgewählte Metrik für alle Pipelines und entsprechenden Aktivitäten erstellen. Sie können außerdem einen bestimmten Aktivitätstyp, Aktivitätsnamen, Pipelinenamen oder Fehlertyp auswählen.

    Screenshot of options for configuring alert logic.

  5. Konfigurieren Sie E-Mail-, SMS-, Push- und Sprachbenachrichtigungen für die Warnung. Erstellen Sie eine Aktionsgruppe für die Warnungsbenachrichtigungen, oder wählen Sie eine vorhandene Aktionsgruppe aus.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Erstellen Sie die Warnungsregel.

    Screenshot of options for creating an alert rule.

Im Artikel Programmgesteuertes Überwachen und Verwalten von Pipelines erfahren Sie mehr über das Überwachen und Verwalten von Pipelines.