Benachrichtigen und Überwachen von Data Factorys mithilfe von Azure MonitorAlert and Monitor data factories using Azure Monitor

Cloudanwendungen sind komplexe Systeme mit zahlreichen Variablen.Cloud applications are complex with many moving parts. Die Überwachung stellt Daten bereit, auf deren Grundlage die ordnungsgemäße Ausführung der Anwendung sichergestellt werden kann.Monitoring provides data to ensure that your application stays up and running in a healthy state. Sie trägt auch zur Vermeidung potenzieller Probleme bei und hilft bei der Behandlung bereits aufgetretener Probleme.It also helps you to stave off potential problems or troubleshoot past ones. Darüber hinaus können Sie auf der Grundlage von Überwachungsdaten umfassende Erkenntnisse über Ihre Anwendung gewinnen.In addition, you can use monitoring data to gain deep insights about your application. Mithilfe dieser Kenntnisse können Sie die Leistung oder Wartungsfreundlichkeit der Anwendung verbessern oder Aktionen automatisieren, die andernfalls manuell ausgeführt werden müssten.This knowledge can help you to improve application performance or maintainability, or automate actions that would otherwise require manual intervention.

Azure Monitor stellt Infrastrukturmetriken auf Basisebene und Protokolle für die meisten Dienste in Microsoft Azure bereit.Azure Monitor provides base level infrastructure metrics and logs for most services in Microsoft Azure. Weitere Informationen finden Sie in der Übersicht über Azure Monitor.For details, see monitoring overview. Azure-Diagnoseprotokolle sind von einer Ressource ausgegebene Protokolle mit umfangreichen, in kurzen Abständen erfassten Betriebsdaten der Ressource.Azure Diagnostic logs are logs emitted by a resource that provide rich, frequent data about the operation of that resource. Data Factory gibt die Diagnoseprotokolle in Azure Monitor.Data Factory outputs diagnostic logs in Azure Monitor.

Dauerhaftes Speichern von Data Factory-DatenPersist Data Factory Data

Data Factory speichert nur Pipelineausführungsdaten 45 Tage lang.Data Factory only stores pipeline run data for 45 days. Wenn Sie Pipelineausführungsdaten bei Verwendung von Azure Monitor länger als 45 Tage speichern möchten, können Sie nicht nur Diagnoseprotokolle zu Analysezwecken weiterleiten, sondern sie auch in einem Speicherkonto speichern, um Factoryinformationen über einen Zeitraum Ihrer Wahl aufzubewahren.If you want to persist pipeline run data for more than 45 days, using Azure Monitor, you cannot only route diagnostic logs for analysis, you can persist them into a storage account so you have factory information for the duration of your choosing.

DiagnoseprotokolleDiagnostic logs

  • Diagnoseprotokolle können zur Überwachung oder manuellen Überprüfung in einem Speicherkonto gespeichert werden.Save them to a Storage Account for auditing or manual inspection. In den Diagnoseeinstellungen können Sie eine Aufbewahrungsdauer (in Tagen) angeben.You can specify the retention time (in days) using the diagnostic settings.
  • Sie können Diagnoseprotokolle zur Erfassung durch einen Drittanbieterdienst oder durch eine benutzerdefinierte Analyselösung wie Power BI an Event Hubs streamen.Stream them to Event Hubs for ingestion by a third-party service or custom analytics solution such as Power BI.
  • Analysieren Sie sie mit Log Analytics.Analyze them with Log Analytics

Sie können ein Speicherkonto oder einen Event Hub-Namespace verwenden, das/der sich nicht im gleichen Abonnement befindet wie die Ressource, die Protokolle ausgibt.You can use a storage account or event hub namespace that is not in the same subscription as the resource that is emitting logs. Der Benutzer, der die Einstellung konfiguriert, benötigt den entsprechenden Zugriff gemäß der rollenbasierten Zugriffssteuerung auf beide Abonnements.The user who configures the setting must have the appropriate role-based access control (RBAC) access to both subscriptions.

Einrichten von DiagnoseprotokollenSet up diagnostic logs

DiagnoseeinstellungenDiagnostic Settings

Diagnoseprotokolle für Nicht-Computeressourcen werden mithilfe von Diagnoseeinstellungen konfiguriert.Diagnostic Logs for non-compute resources are configured using diagnostic settings. Diagnoseeinstellungen für ein Ressourcensteuerelement:Diagnostic settings for a resource control:

  • Zielort von Diagnoseprotokollen (Speicherkonto, Event Hubs oder Azure Monitor-Protokolle).Where diagnostic logs are sent (Storage Account, Event Hubs, or Azure Monitor logs).
  • Welche Protokollkategorien gesendet werden sollenWhich log categories are sent.
  • Wie lange die einzelnen Protokollkategorien in einem Speicherkonto beibehalten werden sollen.How long each log category should be retained in a storage account.
  • Wenn für die Beibehaltungsdauer 0 Tage festgelegt sind, bedeutet dies, dass Protokolle unbegrenzt beibehalten werden.A retention of zero days means logs are kept forever. Andernfalls kann als Wert die Anzahl von Tagen (1 bis 2.147.483.647) festgelegt werden.Otherwise, the value can be any number of days between 1 and 2147483647.
  • Wenn Aufbewahrungsrichtlinien festgelegt wurden, aber das Speichern von Protokollen in einem Speicherkonto deaktiviert ist (wenn z.B. nur die Optionen „Event Hubs“ oder „Azure Monitor-Protokolle“ ausgewählt sind), werden die Aufbewahrungsrichtlinien ignoriert.If retention policies are set but storing logs in a storage account is disabled (for example, only Event Hubs or Azure Monitor logs options are selected), the retention policies have no effect.
  • Aufbewahrungsrichtlinien werden pro Tag angewendet, sodass Protokolle am Ende eines Tages (UTC) ab dem Tag, der nun außerhalb der Aufbewahrungsrichtlinie liegt, gelöscht werden.Retention policies are applied per-day, so at the end of a day (UTC), logs from the day that is now beyond the retention policy are deleted. Beispiel: Wenn Sie eine Aufbewahrungsrichtlinie für einen Tag verwenden, werden heute am Anfang des Tages die Protokolle von vorgestern gelöscht.For example, if you had a retention policy of one day, at the beginning of the day today the logs from the day before yesterday would be deleted.

Aktivieren von Diagnoseprotokollen über die REST-APIEnable diagnostic logs via REST APIs

Erstellen oder Aktualisieren einer Diagnoseeinstellung in der REST-API von Azure MonitorCreate or update a diagnostics setting in Azure Monitor REST API

AnforderungRequest

PUT
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

HeaderHeaders

  • Ersetzen Sie {api-version} durch 2016-09-01.Replace {api-version} with 2016-09-01.
  • Ersetzen Sie {resource-id} durch die Ressourcen-ID der Ressource, deren Diagnoseeinstellungen Sie bearbeiten möchten.Replace {resource-id} with the resource ID of the resource for which you would like to edit diagnostic settings. Weitere Informationen finden Sie unter Verwenden von Ressourcengruppen zum Verwalten von Azure-Ressourcen.For more information Using Resource groups to manage your Azure resources.
  • Legen Sie den Header Content-Type auf application/json fest.Set the Content-Type header to application/json.
  • Legen Sie den Autorisierungsheader auf ein JSON-Webtoken fest, das Sie aus Azure Active Directory abgerufen haben.Set the authorization header to a JSON web token that you obtain from Azure Active Directory. Weitere Informationen finden Sie unter Authentifizieren von Anforderungen.For more information, see Authenticating requests.

TextBody

{
    "properties": {
        "storageAccountId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountName>",
        "serviceBusRuleId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubName>/authorizationrules/RootManageSharedAccessKey",
        "workspaceId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>/providers/Microsoft.OperationalInsights/workspaces/<LogAnalyticsName>",
        "metrics": [
        ],
        "logs": [
                {
                    "category": "PipelineRuns",
                    "enabled": true,
                    "retentionPolicy": {
                        "enabled": false,
                        "days": 0
                    }
                },
                {
                    "category": "TriggerRuns",
                    "enabled": true,
                    "retentionPolicy": {
                        "enabled": false,
                        "days": 0
                    }
                },
                {
                    "category": "ActivityRuns",
                    "enabled": true,
                    "retentionPolicy": {
                        "enabled": false,
                        "days": 0
                    }
                }
            ]
    },
    "location": ""
}
EigenschaftProperty TypType BESCHREIBUNGDescription
storageAccountIdstorageAccountId ZeichenfolgeString Die Ressourcen-ID des Speicherkontos, an das Diagnoseprotokolle gesendet werden sollen.The resource ID of the storage account to which you would like to send Diagnostic Logs
serviceBusRuleIdserviceBusRuleId ZeichenfolgeString Die Service Bus-Regel-ID des Service Bus-Namespace, in dem Event Hubs für das Streaming von Diagnoseprotokollen erstellt werden sollen.The service bus rule ID of the service bus namespace in which you would like to have Event Hubs created for streaming Diagnostic Logs. Die Regel-ID hat folgendes Format: "{Service Bus-Ressourcen-ID}/authorizationrules/{Schlüsselname}".The rule ID is of the format: "{service bus resource ID}/authorizationrules/{key name}".
workspaceIdworkspaceId Komplexer TypComplex Type Array metrischer Zeiteinheiten und ihrer Aufbewahrungsrichtlinien.Array of metric time grains and their retention policies. Diese Eigenschaft ist derzeit leer.Currently, this property is empty.
Metrikenmetrics Parameterwerte der Pipelineausführung, die an die aufgerufene Pipeline übergeben werden sollenParameter values of the pipeline run to be passed to the invoked pipeline Ein JSON-Objekt, das Parameternamen Argumentwerten zuordnetA JSON object mapping parameter names to argument values
Protokollelogs Komplexer TypComplex Type Der Name einer Diagnoseprotokollkategorie für einen Ressourcentyp.Name of a Diagnostic Log category for a resource type. Um die Liste der Diagnoseprotokollkategorien für eine Ressource zu erhalten, führen Sie zuerst einen GET-Vorgang zum Abrufen von Diagnoseeinstellungen aus.To obtain the list of Diagnostic Log categories for a resource, first perform a GET diagnostic settings operation.
categorycategory ZeichenfolgeString Array von Protokollkategorien und ihrer AufbewahrungsrichtlinienArray of log categories and their retention policies
timeGraintimeGrain ZeichenfolgeString Die Granularität von Metriken, die im Zeitformat ISO 8601 erfasst werden.The granularity of metrics that are captured in ISO 8601 duration format. Muss „PT1M“ (eine Minute) seinMust be PT1M (one minute)
Aktiviertenabled Boolescher WertBoolean Gibt an, ob die Sammlung dieser Metrik- oder Protokollkategorie für diese Ressource aktiviert istSpecifies whether collection of that metric or log category is enabled for this resource
retentionPolicyretentionPolicy Komplexer TypComplex Type Beschreibt die Aufbewahrungsrichtlinie für eine Metrik- oder Protokollkategorie.Describes the retention policy for a metric or log category. Wird nur für die Speicherkonto-Option verwendet.Used for storage account option only.
Tagedays IntInt Anzahl der Tage, die Metriken oder Protokolle aufbewahrt werden sollen.Number of days to retain the metrics or logs. Beim Wert 0 werden die Protokolle dauerhaft gespeichert.A value of 0 retains the logs indefinitely. Wird nur für die Speicherkonto-Option verwendet.Used for storage account option only.

AntwortResponse

200 – OK200 OK

{
    "id": "/subscriptions/<subID>/resourcegroups/adf/providers/microsoft.datafactory/factories/shloadobetest2/providers/microsoft.insights/diagnosticSettings/service",
    "type": null,
    "name": "service",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>//providers/Microsoft.Storage/storageAccounts/<storageAccountName>",
        "serviceBusRuleId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>//providers/Microsoft.EventHub/namespaces/<eventHubName>/authorizationrules/RootManageSharedAccessKey",
        "workspaceId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>//providers/Microsoft.OperationalInsights/workspaces/<LogAnalyticsName>",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "metrics": [],
        "logs": [
            {
                "category": "PipelineRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "TriggerRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ActivityRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ]
    },
    "identity": null
}

Abrufen von Informationen zu einer Diagnoseeinstellung in der REST-API von Azure MonitorGet information about diagnostics setting in Azure Monitor REST API

AnforderungRequest

GET
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

HeaderHeaders

  • Ersetzen Sie {api-version} durch 2016-09-01.Replace {api-version} with 2016-09-01.
  • Ersetzen Sie {resource-id} durch die Ressourcen-ID der Ressource, deren Diagnoseeinstellungen Sie bearbeiten möchten.Replace {resource-id} with the resource ID of the resource for which you would like to edit diagnostic settings. Weitere Informationen finden Sie unter „Verwenden von Ressourcengruppen zum Verwalten von Azure-Ressourcen“.For more information Using Resource groups to manage your Azure resources.
  • Legen Sie den Header Content-Type auf application/json fest.Set the Content-Type header to application/json.
  • Legen Sie den Autorisierungsheader auf ein JSON-Webtoken fest, das Sie aus Azure Active Directory abgerufen haben.Set the authorization header to a JSON Web Token that you obtain from Azure Active Directory. Weitere Informationen finden Sie unter „Authentifizieren von Anforderungen“.For more information, see Authenticating requests.

AntwortResponse

200 – OK200 OK

{
    "id": "/subscriptions/<subID>/resourcegroups/adf/providers/microsoft.datafactory/factories/shloadobetest2/providers/microsoft.insights/diagnosticSettings/service",
    "type": null,
    "name": "service",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": "/subscriptions/<subID>/resourceGroups/shloprivate/providers/Microsoft.Storage/storageAccounts/azmonlogs",
        "serviceBusRuleId": "/subscriptions/<subID>/resourceGroups/shloprivate/providers/Microsoft.EventHub/namespaces/shloeventhub/authorizationrules/RootManageSharedAccessKey",
        "workspaceId": "/subscriptions/<subID>/resourceGroups/ADF/providers/Microsoft.OperationalInsights/workspaces/mihaipie",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "metrics": [],
        "logs": [
            {
                "category": "PipelineRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "TriggerRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ActivityRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ]
    },
    "identity": null
}

Weitere InformationenMore info here

Schema von Protokollen und EreignissenSchema of Logs & Events

Attribute der Protokolle von AktivitätsausführungenActivity Run Logs Attributes

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}
EigenschaftProperty TypType BESCHREIBUNGDescription BeispielExample
EbeneLevel ZeichenfolgeString Ebene der Diagnoseprotokolle.Level of the diagnostic logs. Bei Protokollen von Aktivitätsausführungen ist dies stets Ebene 4.Level 4 always is the case for activity run logs. 4
correlationIdcorrelationId ZeichenfolgeString Eindeutige ID zum durchgängigen Nachverfolgen einer bestimmten AnforderungUnique ID to track a particular request end-to-end 319dc6b4-f348-405e-b8d7-aafc77b73e77
timetime ZeichenfolgeString Zeitpunkt des Ereignisses im Zeitraum, UTC-Format: YYYY-MM-DDTHH:MM:SS.00000ZTime of the event in timespan, UTC format YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
activityRunIdactivityRunId ZeichenfolgeString ID der AktivitätsausführungID of the activity run 3a171e1f-b36e-4b80-8a54-5625394f4354
pipelineRunIdpipelineRunId ZeichenfolgeString ID der PipelineausführungID of the pipeline run 9f6069d6-e522-4608-9f99-21807bfc3c70
Ressourcen-IDresourceId ZeichenfolgeString Mit der Data Factory-Ressource verknüpfte Ressourcen-IDAssociated resource ID for the data factory resource /SUBSCRIPTIONS/<subID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>
categorycategory ZeichenfolgeString Kategorie der Diagnoseprotokolle.Category of Diagnostic Logs. Legen Sie diese Eigenschaft auf „ActivityRuns“ festSet this property to "ActivityRuns" ActivityRuns
levellevel ZeichenfolgeString Ebene der Diagnoseprotokolle.Level of the diagnostic logs. Legen Sie diese Eigenschaft auf „Informational“ festSet this property to "Informational" Informational
operationNameoperationName ZeichenfolgeString Der Name der Aktivität mit Status.Name of the activity with status. Bei Status „start heartbeat“ MyActivity -.If the status is the start heartbeat, it is MyActivity -. Bei Status „end heartbeat“ MyActivity - Succeeded mit EndstatusIf the status is the end heartbeat, it is MyActivity - Succeeded with final status MyActivity - Succeeded
pipelineNamepipelineName ZeichenfolgeString Name der PipelineName of the pipeline MyPipeline
activityNameactivityName ZeichenfolgeString Der Name der AktivitätName of the activity MyActivity
Startstart ZeichenfolgeString Start der Aktivitätsausführung im Zeitraum, UTC-FormatStart of the activity run in timespan, UTC format 2017-06-26T20:55:29.5007959Z
endend ZeichenfolgeString Ende der Aktivitätsausführung im Zeitraum, UTC-FormatEnds of the activity run in timespan, UTC format. Wenn die Aktivität noch nicht beendet ist (Diagnoseprotokoll für eine startende Aktivität), wird der Standardwert 1601-01-01T00:00:00Z festgelegt.If the activity has not ended yet (diagnostic log for an activity starting), a default value of 1601-01-01T00:00:00Z is set. 2017-06-26T20:55:29.5007959Z

Attribute der Protokolle von PipelineausführungenPipeline Run Logs Attributes

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      }
    }
}
EigenschaftProperty TypType BESCHREIBUNGDescription BeispielExample
EbeneLevel ZeichenfolgeString Ebene der Diagnoseprotokolle.Level of the diagnostic logs. Bei Protokollen von Aktivitätsausführungen ist dies Ebene 4.Level 4 is the case for activity run logs. 4
correlationIdcorrelationId ZeichenfolgeString Eindeutige ID zum durchgängigen Nachverfolgen einer bestimmten AnforderungUnique ID to track a particular request end-to-end 319dc6b4-f348-405e-b8d7-aafc77b73e77
timetime ZeichenfolgeString Zeitpunkt des Ereignisses im Zeitraum, UTC-Format: YYYY-MM-DDTHH:MM:SS.00000ZTime of the event in timespan, UTC format YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
runIdrunId ZeichenfolgeString ID der PipelineausführungID of the pipeline run 9f6069d6-e522-4608-9f99-21807bfc3c70
Ressourcen-IDresourceId ZeichenfolgeString Mit der Data Factory-Ressource verknüpfte Ressourcen-IDAssociated resource ID for the data factory resource /SUBSCRIPTIONS/<subID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>
categorycategory ZeichenfolgeString Kategorie der Diagnoseprotokolle.Category of Diagnostic Logs. Legen Sie diese Eigenschaft auf „PipelineRuns“ festSet this property to "PipelineRuns" PipelineRuns
levellevel ZeichenfolgeString Ebene der Diagnoseprotokolle.Level of the diagnostic logs. Legen Sie diese Eigenschaft auf „Informational“ festSet this property to "Informational" Informational
operationNameoperationName ZeichenfolgeString Name der Pipeline mit Status.Name of the pipeline with status. „Pipeline - Succeeded“ mit Endstatus nach Abschluss der Pipelineausführung"Pipeline - Succeeded" with final status when pipeline run is completed MyPipeline - Succeeded
pipelineNamepipelineName ZeichenfolgeString Name der PipelineName of the pipeline MyPipeline
Startstart ZeichenfolgeString Start der Aktivitätsausführung im Zeitraum, UTC-FormatStart of the activity run in timespan, UTC format 2017-06-26T20:55:29.5007959Z
endend ZeichenfolgeString Ende der Aktivitätsausführungen im Zeitraum, UTC-FormatEnd of the activity runs in timespan, UTC format. Wenn die Aktivität noch nicht beendet ist (Diagnoseprotokoll für eine startende Aktivität), wird der Standardwert 1601-01-01T00:00:00Z festgelegt.If the activity has not ended yet (diagnostic log for an activity starting), a default value of 1601-01-01T00:00:00Z is set. 2017-06-26T20:55:29.5007959Z
statusstatus ZeichenfolgeString Der Endstatus der Pipelineausführung („Succeeded“ oder „Failed“)Final status of the pipeline run (Succeeded or Failed) Succeeded

Attribute der Protokolle von TriggerausführungenTrigger Run Logs Attributes

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}

EigenschaftProperty TypType BESCHREIBUNGDescription BeispielExample
EbeneLevel ZeichenfolgeString Ebene der Diagnoseprotokolle.Level of the diagnostic logs. Legen Sie diese für Protokolle von Aktivitätsausführungen auf 4 fest.Set to level 4 for activity run logs. 4
correlationIdcorrelationId ZeichenfolgeString Eindeutige ID zum durchgängigen Nachverfolgen einer bestimmten AnforderungUnique ID to track a particular request end-to-end 319dc6b4-f348-405e-b8d7-aafc77b73e77
timetime ZeichenfolgeString Zeitpunkt des Ereignisses im Zeitraum, UTC-Format: YYYY-MM-DDTHH:MM:SS.00000ZTime of the event in timespan, UTC format YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
triggerIdtriggerId ZeichenfolgeString ID der TriggerausführungID of the trigger run 08587023010602533858661257311
Ressourcen-IDresourceId ZeichenfolgeString Mit der Data Factory-Ressource verknüpfte Ressourcen-IDAssociated resource ID for the data factory resource /SUBSCRIPTIONS/<subID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>
categorycategory ZeichenfolgeString Kategorie der Diagnoseprotokolle.Category of Diagnostic Logs. Legen Sie diese Eigenschaft auf „PipelineRuns“ festSet this property to "PipelineRuns" PipelineRuns
levellevel ZeichenfolgeString Ebene der Diagnoseprotokolle.Level of the diagnostic logs. Legen Sie diese Eigenschaft auf „Informational“ festSet this property to "Informational" Informational
operationNameoperationName ZeichenfolgeString Name des Triggers mit Endstatus, ob dieser erfolgreich ausgelöst wurde.Name of the trigger with final status whether it successfully fired. „MyTrigger - Succeeded“, wenn der Heartbeat erfolgreich war"MyTrigger - Succeeded" if the heartbeat was successful MyTrigger - Succeeded
triggerNametriggerName ZeichenfolgeString Name des TriggersName of the trigger MyTrigger
triggerTypetriggerType ZeichenfolgeString Typ des Triggers (manueller Trigger oder Zeitplantrigger)Type of the trigger (Manual trigger or Schedule Trigger) ScheduleTrigger
triggerEventtriggerEvent ZeichenfolgeString Ereignis des TriggersEvent of the trigger ScheduleTime - 2017-07-06T01:50:25Z
Startstart ZeichenfolgeString Beginn der Triggerauslösung im Zeitraum, UTC-FormatStart of trigger fire in timespan, UTC format 2017-06-26T20:55:29.5007959Z
statusstatus ZeichenfolgeString Endstatus, der angibt, ob der Trigger erfolgreich ausgelöst wurde („Succeeded“ oder „Failed“)Final status of whether trigger successfully fired (Succeeded or Failed) Succeeded

MetrikenMetrics

Mit Azure Monitor können Sie Telemetriedaten verwenden, um sich einen Überblick über Leistung und Integrität Ihrer Workloads in Azure zu verschaffen.Azure Monitor enables you to consume telemetry to gain visibility into the performance and health of your workloads on Azure. Die wichtigsten Typen von Telemetriedaten sind Metriken (auch Leistungsindikatoren genannt), die von den meisten Azure-Ressourcen ausgegeben werden.The most important type of Azure telemetry data is the metrics (also called performance counters) emitted by most Azure resources. Azure Monitor bietet Ihnen verschiedene Möglichkeiten, diese Metriken für die Überwachung und Problembehandlung zu konfigurieren und zu nutzen.Azure Monitor provides several ways to configure and consume these metrics for monitoring and troubleshooting.

ADFV2 gibt die folgenden Metriken aus.ADFV2 emits the following metrics

MetrikMetric MetrikanzeigenameMetric Display Name EinheitUnit AggregationstypAggregation Type BeschreibungDescription
PipelineSucceededRunPipelineSucceededRun Metriken zu erfolgreichen PipelineausführungenSucceeded pipeline runs metrics CountCount GesamtTotal Insgesamt erfolgreiche Pipelineausführungen in einem Zeitfenster von einer MinuteTotal pipelines runs succeeded within a minute window
PipelineFailedRunsPipelineFailedRuns Metriken zu fehlerhaften PipelineausführungenFailed pipeline runs metrics CountCount GesamtTotal Insgesamt fehlerhafte Pipelineausführungen in einem Zeitfenster von einer MinuteTotal pipelines runs failed within a minute window
ActivitySucceededRunsActivitySucceededRuns Metriken zu erfolgreichen AktivitätsausführungenSucceeded activity runs metrics CountCount GesamtTotal Insgesamt erfolgreiche Aktivitätsausführungen in einem Zeitfenster von einer MinuteTotal activity runs succeeded within a minute window
ActivityFailedRunsActivityFailedRuns Metriken zu fehlerhaften AktivitätsausführungenFailed activity runs metrics CountCount GesamtTotal Insgesamt fehlerhafte Aktivitätsausführungen in einem Zeitfenster von einer MinuteTotal activity runs failed within a minute window
TriggerSucceededRunsTriggerSucceededRuns Metriken zu erfolgreichen TriggerausführungenSucceeded trigger runs metrics CountCount GesamtTotal Insgesamt erfolgreiche Triggerausführungen in einem Zeitfenster von einer MinuteTotal trigger runs succeeded within a minute window
TriggerFailedRunsTriggerFailedRuns Metriken zu fehlerhaften TriggerausführungenFailed trigger runs metrics CountCount GesamtTotal Insgesamt fehlerhafte Triggerausführungen in einem Zeitfenster von einer MinuteTotal trigger runs failed within a minute window

Eine Anleitung für den Zugriff auf die Metriken finden Sie im folgenden Artikel: https://docs.microsoft.com/azure/monitoring-and-diagnostics/monitoring-overview-metricsTo access the metrics, follow the instructions in the article - https://docs.microsoft.com/azure/monitoring-and-diagnostics/monitoring-overview-metrics

Überwachen von Data Factory-Metriken mit Azure MonitorMonitor Data Factory Metrics with Azure Monitor

Sie können die Azure Data Factory-Integration in Azure Monitor zur Weiterleitung von Daten an Azure Monitor verwenden.You can use Azure Data Factory integration with Azure Monitor to route data to Azure Monitor. Diese Integration ist in den folgenden Szenarien nützlich:This integration is useful in the following scenarios:

  1. Sie möchten komplexe Abfragen für einen umfangreichen Satz von Metriken schreiben, die von Data Factory an Azure Monitor veröffentlicht werden.You want to write complex queries on a rich set of metrics that is published by Data Factory to Azure Monitor. Sie können auch eigene Benachrichtigungen zu diesen Abfragen über Azure Monitor erstellen.You can also create custom alerts on these queries via Azure Monitor.

  2. Sie möchten Data Factorys übergreifend überwachen.You want to monitor across data factories. Sie können Daten aus mehreren Data Factorys an einen einzigen Azure Monitor-Arbeitsbereich weiterleiten.You can route data from multiple data factories to a single Azure Monitor workspace.

Das folgende Video enthält eine siebenminütige Einführung und Demonstration dieses Features:For a seven-minute introduction and demonstration of this feature, watch the following video:

Konfigurieren von Diagnoseeinstellungen und ArbeitsbereichConfigure Diagnostic Settings and Workspace

Aktivieren Sie die Diagnoseeinstellungen für Ihre Data Factory.Enable Diagnostic Settings for your data factory.

  1. Wählen Sie Azure Monitor -> Diagnoseeinstellungen -> Wählen Sie die Data Factory aus -> Aktivieren Sie die Diagnose.Select Azure Monitor -> Diagnostics settings -> Select the data factory -> Turn on diagnostics.

    monitor-oms-image1.png

  2. Geben Sie die Diagnoseeinstellungen einschließlich der Konfiguration des Arbeitsbereichs an.Provide diagnostic settings including configuration of the workspace.

    monitor-oms-image2.png

Installieren von Azure Data Factory-Analysen aus dem Azure MarketplaceInstall Azure Data Factory Analytics from Azure Marketplace

monitor-oms-image3.png

monitor-oms-image4.png

Klicken Sie auf Erstellen, und wählen Sie den Arbeitsbereich und die Arbeitsbereichseinstellungen aus.Click Create and select the Workspace and Workspace settings.

monitor-oms-image5.png

Überwachen von Data Factory-MetrikenMonitor Data Factory Metrics

Durch die Installation von Azure Data Factory-Analysen wird ein Standardsatz von Ansichten für die folgenden Metriken erstellt:Installing Azure Data Factory Analytics creates a default set of views that enables the following metrics:

  • ADF-Ausführungen – 1) Pipelineausführungen nach Data FactoryADF Runs- 1) Pipeline Runs by Data Factory

  • ADF-Ausführungen – 2) Aktivitätsausführungen nach Data FactoryADF Runs- 2) Activity Runs by Data Factory

  • ADF-Ausführungen – 3) Triggerausführungen nach Data FactoryADF Runs- 3) Trigger Runs by Data Factory

  • ADF-Fehler – 1) Top 10-Pipelinefehler nach Data FactoryADF Errors- 1) Top 10 Pipeline Errors by Data Factory

  • ADF-Fehler – 2) Top 10-Aktivitätsfehler nach Data FactoryADF Errors- 2) Top 10 Activity Runs by Data Factory

  • ADF-Fehler – 3) Top 10-Triggerfehler nach Data FactoryADF Errors- 3) Top 10 Trigger Errors by Data Factory

  • ADF-Statistik – 1) Aktivitätsausführungen nach TypADF Statistics- 1) Activity Runs by Type

  • ADF-Statistik – 2) Triggerausführungen nach TypADF Statistics- 2) Trigger Runs by Type

  • ADF-Statistik – 3) Höchstdauer der PipelineausführungenADF Statistics- 3) Max Pipeline Runs Duration

monitor-oms-image6.png

monitor-oms-image7.png

Sie können u.a. die obigen Metriken visualisieren, die Abfragen hinter diesen Metriken betrachten, die Abfragen bearbeiten oder Benachrichtigungen erstellen.You can visualize the above metrics, look at the queries behind these metrics, edit the queries, create alerts, and so forth.

monitor-oms-image8.png

AlertsAlerts

Melden Sie sich beim Azure-Portal an, und klicken Sie auf Überwachen -> Warnungen, um Warnungen zu erstellen.Log in to the Azure portal and click Monitor -> Alerts to create alerts.

Warnungen im Portalmenü

Erstellen von WarnungenCreate Alerts

  1. Klicken Sie auf + Neue Warnungsregel, um eine neue Warnung zu erstellen.Click + New Alert rule to create a new alert.

    Neue Warnungsregel

  2. Definieren Sie die Warnungsbedingung.Define the Alert condition.

    Hinweis

    Achten Sie darauf, dass unter Nach Ressourcentyp filtern die Option Alle ausgewählt ist.Make sure to select All in the Filter by resource type.

    Warnungsbedingung, Bildschirm 1 von 3

    Warnungsbedingung, Bildschirm 2 von 3

    Warnungsbedingung, Bildschirm 3 von 3

  3. Definieren Sie die Warnungsdetails.Define the Alert details.

    Warnungsdetails

  4. Definieren Sie die Aktionsgruppe.Define the Action group.

    Aktionsgruppe, Bildschirm 1 von 4

    Aktionsgruppe, Bildschirm 2 von 4

    Aktionsgruppe, Bildschirm 3 von 4

    Aktionsgruppe, Bildschirm 4 von 4

Nächste SchritteNext steps

Im Artikel Programmgesteuertes Überwachen einer Azure Data Factory erfahren Sie mehr über das Überwachen und Verwalten von Pipelines mit Code.See Monitor and manage pipelines programmatically article to learn about monitoring and managing pipelines with code.