Monitorare visivamente Azure Data Factory

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .

Dopo aver creato e pubblicato una pipeline in Azure Data Factory, è possibile associarla a un trigger o avviare manualmente un'esecuzione ad hoc. È possibile monitorare tutte le esecuzioni della pipeline in modo nativo nell'esperienza utente di Azure Data Factory. Per aprire l'esperienza di monitoraggio, selezionare il riquadro Monitoraggio e gestione nel pannello Data factory del portale di Azure. Se si è già all'interno dell'esperienza utente di Azure Data Factory, fare clic sull'icona di monitoraggio sulla barra laterale sinistra.

Per impostazione predefinita, tutte le esecuzioni della data factory vengono visualizzate nel fuso orario locale del browser. Se si modifica il fuso orario, tutti i campi di data/ora vengono impostati sul fuso selezionato.

Monitorare le esecuzioni delle pipeline

La visualizzazione di monitoraggio predefinita è l'elenco delle esecuzioni delle pipeline attivate nel periodo di tempo selezionato. È possibile modificare l'intervallo di tempo e filtrare in base a stato, nome della pipeline o annotazione. Posizionare il puntatore del mouse sull'esecuzione della pipeline specifica per ottenere azioni specifiche dell'esecuzione, ad esempio la riesecuzione e il report sull'utilizzo.

Screenshot of list view for monitoring pipeline runs.

La griglia delle esecuzioni delle pipeline include le colonne seguenti:

Nome colonna Descrizione
Nome pipeline Nome della pipeline
Inizio esecuzione Data e ora di inizio dell'esecuzione della pipeline (GG/MM/AAAA, HH:MM:SS)
Fine esecuzione Data e ora di fine dell'esecuzione della pipeline (GG/MM/AAAA, HH:MM:SS)
Durata Durata dell'esecuzione (HH:MM:SS)
Attivato da Nome del trigger che ha avviato la pipeline
Status Operazione non riuscita, Operazione completata, In corso, Annullata o In coda
Annotazioni Tag filtrabili associati a una pipeline
Parametri Parametri relativi all'esecuzione della pipeline (coppie nome-valore)
Error Errore di esecuzione se la pipeline non è riuscita
Esegui Originale, Riesecuzione o Riesecuzione (più recente)
ID esecuzione ID dell'esecuzione pipeline

Per aggiornare l'elenco delle esecuzioni di pipeline e attività, è necessario selezionare manualmente il pulsante Aggiorna. L'aggiornamento automatico non è attualmente supportato.

 Screenshot of refresh button.

Per visualizzare i risultati dell'esecuzione di un debug, selezionare la scheda Debug.

Screenshot of the view active debug runs icon.

Monitorare le esecuzioni delle attività

Per ottenere una visualizzazione dettagliata delle singole esecuzioni attività di un'esecuzione della pipeline specifica, fare clic sul nome della pipeline.

Screenshot of view activity runs.

La visualizzazione elenco illustra le esecuzioni attività corrispondenti a ogni esecuzione della pipeline. Posizionare il puntatore del mouse sull'esecuzione attività per ottenere informazioni specifiche dell'esecuzione, ad esempio l'input JSON, l'output JSON e le esperienze di monitoraggio dettagliate specifiche dell'attività.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Nome colonna Descrizione
Nome attività Nome dell'attività all'interno della pipeline
Tipo di attività Tipo di attività, ad esempio Copy, ExecuteDataFlow o AzureMLExecutePipeline
Azioni Icone che consentono di visualizzare le informazioni di input JSON, le informazioni di output JSON o esperienze di monitoraggio dettagliate specifiche delle attività
Inizio esecuzione Data e ora di inizio dell'esecuzione attività (GG/MM/AAAA, HH:MM:SS)
Durata Durata dell'esecuzione (HH:MM:SS)
Status Operazione non riuscita, Operazione completata, In corso o Annullata
Integration Runtime Indica l'istanza di Integration Runtime in cui è stata eseguita l'attività
Proprietà utente Proprietà dell'attività definite dall'utente
Error Errore di esecuzione se l'attività non è riuscita
ID esecuzione ID dell'esecuzione attività

Se un'attività non è riuscita, è possibile visualizzare il messaggio di errore dettagliato facendo clic sull'icona nella colonna degli errori.

Screenshot of a notification with error details including error code, failure type, and error details.

Alzare di livello le proprietà utente per il monitoraggio

Alzare di livello qualsiasi proprietà dell'attività della pipeline e impostarla come proprietà utente in modo che diventi un'entità che è possibile monitorare. Ad esempio, è possibile alzare di livello le proprietà Origine e Destinazione dell'attività di copia nella pipeline impostandole come proprietà utente.

Nota

È possibile alzare di livello fino a cinque proprietà di attività della pipeline e impostarle come proprietà utente.

Screenshot of create user properties.

Dopo aver creato le proprietà utente, è possibile monitorarle successivamente nelle visualizzazioni elenco di monitoraggio.

Screenshot of add columns for user properties to the activity runs list.

Se l'origine per l'attività di copia è un nome di tabella, è possibile monitorare il nome di tabella di origine come una colonna nella visualizzazione elenco delle esecuzioni attività.

Screenshot of activity runs list with columns for user properties.

Eseguire di nuovo le pipeline e le attività

Il comportamento di riesecuzione delle attività del contenitore è il seguente:

  • Wait- L'attività si comporterà come in precedenza.
  • Set Variable - L'attività si comporterà come in precedenza.
  • Filter - L'attività si comporterà come in precedenza.
  • Until L'attività valuterà l'espressione e verrà riprodotta a ciclo continuo fino a quando la condizione non viene soddisfatta. Le attività interne potrebbero comunque essere ignorate in base alle regole di ripetizione delle esecuzioni.
  • Foreach L'attività verrà riprodotta a ciclo continuo sugli elementi che riceve. Le attività interne potrebbero comunque essere ignorate in base alle regole di ripetizione delle esecuzioni.
  • If and switch - Le condizioni verranno sempre valutate. Tutte le attività interne verranno valutate. Le attività interne possono comunque essere ignorate in base alle regole di riesecuzione, ma verranno rieseguite attività come Execute Pipeline.
  • Execute pipeline activity - Verrà attivata la pipeline figlio, ma tutte le attività nella pipeline figlio potrebbero comunque essere ignorate in base alle regole di riesecuzione.

Per rieseguire dall'inizio una pipeline eseguita in precedenza, posizionare il puntatore del mouse sull'esecuzione della pipeline specifica e selezionare Riesegui. Se si selezionano più pipeline, è possibile usare il pulsante Riesegui per eseguirle tutte.

Screenshot of rerun a pipeline.

Se si desidera rieseguire una pipeline a partire da un punto specifico, è possibile farlo dalla visualizzazione delle esecuzioni attività. Selezionare l'attività da cui si desidera iniziare e selezionare Ripeti esecuzione da un'attività.

Screenshot of rerun an activity run.

È anche possibile rieseguire una pipeline e modificare i parametri. Selezionare il pulsante Nuovi parametri per modificare i parametri.

Screenshot of rerun an activity run with new parameters.

Nota

La riesecuzione di una pipeline con nuovi parametri verrà considerata una nuova esecuzione della pipeline in modo che non venga visualizzata nei raggruppamenti di riesecuzione per un'esecuzione della pipeline.

Eseguire nuovamente dall'attività non riuscita

Se un'attività non riesce, raggiunge il time-out o viene annullata, è possibile eseguire nuovamente la pipeline da tale attività selezionando Esegui di nuovo nell'attività non riuscita.

Screenshot of rerun failed activity.

Visualizzare la cronologia di riesecuzione

È possibile visualizzare la cronologia di riesecuzione per tutte le esecuzioni di pipeline nella visualizzazione elenco.

Screenshot of view history.

È anche possibile visualizzare la cronologia di riesecuzione per una specifica esecuzione della pipeline.

Screenshot of view history for a pipeline run.

Monitorare l'utilizzo

Per visualizzare le risorse utilizzate da un'esecuzione della pipeline, fare clic sull'icona del consumo accanto all'esecuzione.

Screenshot that shows where you can see the resources consumed by a pipeline.

Facendo clic sull'icona viene visualizzato un report sul consumo delle risorse usate dall'esecuzione della pipeline.

Screenshot of monitor consumption.

È possibile inserire questi valori nel calcolatore dei prezzi di Azure per stimare il costo dell'esecuzione della pipeline. Per altre informazioni sui prezzi di Azure Data Factory, vedere Informazioni sui prezzi.

Nota

I valori restituiti dal calcolatore prezzi sono solo stimati e non rispecchiano l'importo esatto che verrà fatturato da Azure Data Factory

Visualizzazioni Gantt

Un diagramma di Gantt è una visualizzazione che consente di osservare la cronologia di esecuzione in un intervallo di tempo. Passando a una visualizzazione Gantt, è possibile visualizzare tutte le esecuzioni delle pipeline raggruppate per nome e mostrate come barre in base al tempo impiegato dall'esecuzione. È anche possibile raggruppare per annotazioni/tag creati nella pipeline. La visualizzazione Gantt è disponibile anche a livello di esecuzione attività.

Screenshot of an example of a Gantt chart.

La lunghezza della barra indica la durata della pipeline. È anche possibile selezionare la barra per visualizzare altri dettagli.

Screenshot of a Gantt chart duration.

Avvisi

È possibile generare avvisi sulle metriche supportate in Data Factory. Per iniziare, selezionare Monitor>Alerts & metrics (Monitoraggio > Avvisi e metriche) nella pagina di monitoraggio di Data Factory.

Screenshot of the Data factory Monitor page.

Per un'introduzione di sette minuti e una dimostrazione di questa funzionalità, guardare il video seguente:

Creare avvisi

  1. Selezionare Nuova regola di avviso per creare un nuovo avviso.

    Screenshot of New Alert Rule button.

  2. Specificare il nome della regola e selezionare la gravità dell'avviso.

    Screenshot of boxes for rule name and severity.

  3. Selezionare i criteri di avviso.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    È possibile creare avvisi su varie metriche, tra cui quelle per il conteggio/dimensioni delle entità di Azure Data Factory, le esecuzioni di attività/pipeline/trigger, l'utilizzo della CPU del runtime di integrazione/memoria/conteggio/coda dei nodi, nonché per le esecuzioni di pacchetti SSIS e le operazioni di avvio/arresto del runtime di integrazione SSIS.

  4. Configurare la logica degli avvisi. È possibile creare un avviso per la metrica selezionata per tutte le pipeline e attività corrispondenti. È anche possibile selezionare un tipo di attività, un nome di attività, un nome di pipeline o un tipo di errore specifico.

    Screenshot of options for configuring alert logic.

  5. Configurare notifiche tramite posta elettronica, SMS, push, voce per l'avviso. Creare un gruppo di azioni o sceglierne uno esistente per le notifiche di avviso.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Creare la regola di avviso.

    Screenshot of options for creating an alert rule.

Per informazioni sul monitoraggio e sulla gestione delle pipeline, vedere l'articolo su come monitorare e gestire pipeline a livello di codice.