Monitoraggio di un runtime di integrazione in Azure Data Factory

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Il runtime di integrazione è l'infrastruttura di calcolo usata da Azure Data Factory (ADF) per fornire varie funzionalità di integrazione dei dati in ambienti di rete diversi. Esistono tre tipi di runtime di integrazione offerti da Data Factory:

  • Runtime di integrazione di Azure
  • Runtime di integrazione self-hosted
  • Runtime di integrazione di Azure-SQL Server Integration Services (SSIS)

Nota

Questo articolo è stato aggiornato per usare il modulo Az di Azure PowerShell. Il modulo Az di PowerShell è ora il modulo di PowerShell consigliato per l'interazione con Azure. Per iniziare a usare il modulo Az PowerShell, vedere Installare Azure PowerShell. Per informazioni su come eseguire la migrazione al modulo AZ PowerShell, vedere Eseguire la migrazione di Azure PowerShell da AzureRM ad Az.

Per ottenere lo stato di un'istanza di runtime di integrazione (IR), eseguire il comando PowerShell seguente:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Il cmdlet restituisce informazioni diverse per diversi tipi di runtime di integrazione. In questo articolo vengono illustrate le proprietà e gli stati per ogni tipo di runtime di integrazione.

Runtime di integrazione di Azure

La risorsa di calcolo per un runtime di integrazione di Azure è completamente gestita in modo elastico in Azure. Nella tabella seguente vengono fornite le descrizioni delle proprietà restituite dal comando Get-AzDataFactoryV2IntegrationRuntime:

Proprietà

Nella tabella seguente vengono fornite descrizioni per le proprietà restituite dal cmdlet per un runtime di integrazione Azure:

Proprietà Descrizione
Nome Nome del runtime di integrazione di Azure.
State Stato del runtime di integrazione di Azure.
Posizione Percorso del runtime di integrazione di Azure. Per altri dettagli sul percorso di un runtime di integrazione di Azure, vedere Introduzione al runtime di integrazione.
DataFactoryName Nome della data factory a cui appartiene il runtime di integrazione di Azure.
ResourceGroupName Nome del gruppo di risorse a cui appartiene la data factory.
Descrizione Descrizione del runtime di integrazione di Azure.

Stato

La tabella seguente indica i possibili stati di un runtime di integrazione di Azure:

Stato Commenti/Scenari
Online Il runtime di integrazione di Azure è online e pronto per essere utilizzato.
Offline Il runtime di integrazione di Azure è offline a causa di un errore interno.

Runtime di integrazione self-hosted

In questa sezione vengono fornite descrizioni per le proprietà restituite dal cmdlet Get-AzDataFactoryV2IntegrationRuntime.

Nota

La proprietà restituite e lo stato contengono informazioni sul runtime di integrazione self-hosted generale e su ogni nodo nel runtime.

Proprietà

La tabella seguente fornisce le descrizioni delle proprietà di monitoraggio per ogni nodo:

Proprietà Descrizione
Nome Nome del runtime di integrazione self-hosted e dei nodi associati. Il nodo è un computer Windows locale su cui è installato il runtime di integrazione self-hosted.
Stato Lo stato del runtime di integrazione self-hosted generale e di ogni nodo. Esempio: Online/Offline/Limited/etc. Per informazioni su questi stati, vedere la sezione successiva.
Versione La versione del runtime di integrazione self-hosted e di ogni nodo. La versione del runtime di integrazione self-hosted viene determinata in base alla versione della maggior parte dei nodi del gruppo. Se nella configurazione del runtime di integrazione self-hosted sono presenti nodi con versioni diverse, solo i nodi con lo stesso numero di versione del runtime di integrazione self-hosted funzionano correttamente. Gli altri sono in modalità limitata e devono essere aggiornati manualmente (solo se l'aggiornamento automatico non riesce).
Memoria disponibile Memoria disponibile in un nodo di runtime di integrazione self-hosted. Questo valore è uno snapshot in tempo quasi reale.
Uso della CPU Utilizzo della CPU da parte di un nodo di runtime di integrazione self-hosted. Questo valore è uno snapshot in tempo quasi reale.
Rete (in/out) Utilizzo del network da parte di un nodo di runtime di integrazione self-hosted. Questo valore è uno snapshot in tempo quasi reale.
Processi simultanei (in esecuzione/limite) Esecuzione di. Numero di processi o di attività in esecuzione in ogni nodo. Questo valore è uno snapshot in tempo quasi reale.

Limitare . Per limite si intende il numero massimo di processi simultanei per ogni nodo. Questo valore viene definito in base alle dimensioni del computer. È possibile aumentare il limite per incrementare il numero di processi simultanei in esecuzione negli scenari avanzati, in cui si verifica il timeout delle attività anche in caso di sottoutilizzo di CPU, memoria o rete. Questa capacità è disponibile anche in un runtime di integrazione self-hosted a nodo singolo.
Ruolo Esistono due tipi di ruoli in un runtime di integrazione self-hosted a più nodi: dispatcher e ruolo di lavoro. Tutti i nodi sono ruoli di lavoro e quindi possono essere tutti usati per eseguire i processi. Esiste un solo nodo dispatcher, che viene usato per eseguire il pull di attività/processi dai servizi cloud e inviarli a nodi ruolo di lavoro diversi. Il nodo dispatcher è anche un nodo di lavoro.

Alcune impostazioni delle proprietà sono più appropriate quando sono presenti due o più nodi nel runtime di integrazione self-hosted, ovvero in uno scenario in cui viene incrementato il numero di istanze.

Limite di processi simultanei

Il valore predefinito del limite di processi simultanei è impostato in base alle dimensioni del computer. I fattori usati per calcolare questo valore variano in base alla quantità di RAM e al numero di core di CPU del computer. Pertanto, quanto maggiori sono il numero di core e la quantità di memoria, tanto più elevato sarà il valore predefinito del limite di processi simultanei.

Per aumentare questo limite è necessario incrementare il numero di nodi. In questo modo, infatti, il limite di processi simultanei corrisponde alla somma dei valori limite di processi simultanei di tutti i nodi disponibili. Se ad esempio un nodo consente di eseguire un massimo di 12 processi simultanei, aggiungendo altri tre nodi simili sarà possibile eseguire un massimo di 48 processi simultanei, ovvero 4 x 12. È consigliabile aumentare il limite di processi simultanei solo quando si nota uno scarso utilizzo delle risorse con i valori predefiniti su ogni nodo.

È possibile sostituire il valore predefinito calcolato nel portale di Azure. Selezionare Autore > Connessioni > Runtime di integrazione > Modifica > Nodi > modificare il limite di processi simultanei per ogni nodo. È anche possibile usare il comando update-Azdatafactoryv2integrationruntimenode di PowerShell.

Stato (per ogni nodo)

La tabella seguente indica i possibili stati di un nodo di runtime di integrazione self-hosted:

Stato Descrizione
Online Il nodo è connesso al servizio Data Factory.
Offline Il nodo è offline.
Aggiornamento È in corso l'aggiornamento automatico del nodo.
Limitato La causa è un problema di connettività, Può essere dovuto a un problema della porta HTTP 8060, a un problema di connettività del bus di servizio o a un problema di sincronizzazione delle credenziali.
Inattivo Il nodo è in una configurazione diversa da quella della maggior parte degli altri nodi.

Un nodo può essere inattivo quando non riesce a connettersi agli altri nodi.

Stato (runtime di integrazione self-hosted generale)

La tabella seguente indica i possibili stati di un runtime di integrazione self-hosted. Questo stato varia a seconda degli stati di tutti i nodi che appartengono al runtime.

Stato Descrizione
Need Registration Nessun nodo è ancora registrato per questo runtime di integrazione self-hosted.
Online Tutti i nodi sono online.
Offline Nessun nodo è online.
Limitato Non tutti i nodi in questo runtime di integrazione self-hosted sono in uno stato integro. Questo stato è un avviso indicante che qualche nodo potrebbe essere inattivo. La causa di questo stato potrebbe essere un problema di sincronizzazione delle credenziali nel nodo dispatcher/ruolo di lavoro.

Usare il cmdlet Get-AzDataFactoryV2IntegrationRuntimeMetric per recuperare il payload JSON contenente le proprietà dettagliate del runtime di integrazione self-hosted e i relativi valori di snapshot durante l'esecuzione del cmdlet.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Esempio di output (presuppone che siano presenti due nodi associati a questo runtime di integrazione self-hosted):

{
    "IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
        {
            "NodeName":  "<Node Name>",
            "AvailableMemoryInMB":  <Value>,
            "CpuUtilization":  <Value>,
            "ConcurrentJobsLimit":  <Value>,
            "ConcurrentJobsRunning":  <Value>,
            "MaxConcurrentJobs":  <Value>,
            "SentBytes":  <Value>,
            "ReceivedBytes":  <Value>
        },
        {
            "NodeName":  "<Node Name>",
            "AvailableMemoryInMB":  <Value>,
            "CpuUtilization":  <Value>,
            "ConcurrentJobsLimit":  <Value>,
            "ConcurrentJobsRunning":  <Value>,
            "MaxConcurrentJobs":  <Value>,
            "SentBytes":  <Value>,
            "ReceivedBytes":  <Value>
        }

    ]
} 

Runtime di integrazione SSIS di Azure

Azure-SSIS IR è un cluster completamente gestito di macchine virtuali (VM o nodi) di Azure dedicato all'esecuzione dei pacchetti SSIS. È possibile richiamare le esecuzioni di pacchetti SSIS in Azure-SSIS IR usando vari metodi, ad esempio tramite l'utilità della riga di comando SQL Server Data Tools (SSDT) abilitata per Azure, l'utilità della riga di comando AzureDTExec, T-SQL in SQL Server Management Studio (SSMS)/SQL Server Agent ed eseguire attività del pacchetto SSIS nelle pipeline di AdF. Azure-SSIS IR non esegue altre attività di AdF. Dopo il provisioning, è possibile monitorarne le proprietà e gli stati complessivi/specifici del nodo tramite Azure PowerShell, portale di Azure e Monitoraggio di Azure.

Monitorare il runtime di integrazione SSIS di Azure con Azure PowerShell

Usare il cmdlet Azure PowerShell seguente per monitorare le proprietà e gli stati complessivi/specifici del nodo Azure-SSIS IR.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Proprietà

Nella tabella seguente vengono fornite le descrizioni delle proprietà restituite dal cmdlet precedente per un Azure-SSIS IR.

Proprietà/stato Descrizione
CreateTime Ora UTC in cui è stato Azure-SSIS IR'applicazione.
Nodi I nodi allocati/disponibili del Azure-SSIS IR con stati specifici del nodo (avvio/disponibile/riciclo/non disponibile) ed errori di azione.
OtherErrors Errori di azione non specifici del nodo nel Azure-SSIS IR.
LastOperation Il risultato dell'ultima operazione di avvio/arresto nel Azure-SSIS IR con errori di cui è possibile eseguire l'azione in caso di esito negativo.
State Stato complessivo (iniziale/iniziale/avviato/arresto/arrestato) del Azure-SSIS IR.
Posizione Percorso dell'Azure-SSIS IR.
NodeSize Dimensioni di ogni nodo nella Azure-SSIS IR.
NodeCount Numero di nodi nella Azure-SSIS IR.
MaxParallelExecutionsPerNode Numero massimo di esecuzioni parallele per nodo nella Azure-SSIS IR.
CatalogServerEndpoint Endpoint del server di database SQL di Azure o dell'istanza gestita esistente per ospitare il catalogo SSIS (SSISDB).
CatalogAdminUserName Nome utente amministratore per il server database SQL di Azure o l'istanza gestita esistente. AdF usa queste informazioni per preparare e gestire SSISDB per conto dell'utente.
CatalogAdminPassword Password amministratore per il server database SQL di Azure o l'istanza gestita esistente.
CatalogPricingTier Piano tariffario per il database SSISDB ospitato database SQL di Azure server. Non applicabile all’istanza gestita SQL di Azure che ospita il database SSIS.
VNetId ID della risorsa di rete virtuale per l'Azure-SSIS IR cui aggiungere l'utente.
Subnet Nome della subnet per l'Azure-SSIS IR cui eseguire l'aggiunta.
ID ID risorsa del Azure-SSIS IR.
Tipo Tipo di IR (gestito/self-hosted) del Azure-SSIS IR.
ResourceGroupName Nome del gruppo di risorse di Azure, in cui sono stati creati ADF e Azure-SSIS IR risorse.
DataFactoryName Nome del file ADF.
Nome Nome dell'Azure-SSIS IR.
Descrizione Descrizione del Azure-SSIS IR.

Stato (per Azure-SSIS IR nodo)

La tabella seguente fornisce i possibili stati di un Azure-SSIS IR nodo:

Stato specifico del nodo Descrizione
Avvio in corso Questo nodo è in corso di preparazione.
Disponibile Questo nodo è pronto per la distribuzione/esecuzione di pacchetti SSIS.
Riciclo Questo nodo è in corso di riparazione/riavvio.
Non disponibile Questo nodo non è pronto per la distribuzione o l'esecuzione di pacchetti SSIS e presenta errori o problemi che è possibile risolvere.

Stato (Azure-SSIS IR)

Nella tabella seguente sono riportati i possibili stati complessivi di un Azure-SSIS IR. Lo stato complessivo dipende a sua volta dagli stati combinati di tutti i nodi che appartengono al Azure-SSIS IR.

Stato generale Descrizione
Initial I nodi del Azure-SSIS IR non sono stati allocati/preparati.
Avvio in corso I nodi dell'Azure-SSIS IR sono in fase di allocazione/preparazione e la fatturazione è stata avviata.
Avviato I nodi del Azure-SSIS IR sono stati allocati/preparati e sono pronti per la distribuzione/esecuzione di pacchetti SSIS.
Stopping I nodi del Azure-SSIS IR verranno rilasciati.
Arrestato I nodi dell'Azure-SSIS IR sono stati rilasciati e la fatturazione è stata interrotta.

Monitorare il runtime di integrazione SSIS di Azure in portale di Azure

Per monitorare i Azure-SSIS IR in portale di Azure, passare alla pagina Runtime di integrazione dell'hub Monitoraggio nell'interfaccia utente di AdF, in cui è possibile visualizzare tutti i runtime di integrazione.

Monitorare tutti i runtime di integrazione

Selezionare quindi il nome del Azure-SSIS IR per aprire la relativa pagina di monitoraggio, in cui è possibile visualizzarne le proprietà e gli stati complessivi/specifici del nodo. In questa pagina, a seconda di come si configurano le impostazioni generali, di distribuzione e avanzate del Azure-SSIS IR, sono disponibili vari riquadri in informazioni/funzionali.

I riquadri in informazioni TYPE e REGION mostrano rispettivamente il tipo e l'area Azure-SSIS IR'area.

Il riquadro informativo DIMENSIONI NODO mostra lo SKU (serie SSIS edition_VM tier_VM), il numero di core CPU e le dimensioni della RAM per nodo per l'Azure-SSIS IR.

Il riquadro informativo RUNNING/REQUESTED NODE(S) confronta il numero di nodi attualmente in esecuzione con il numero totale di nodi precedentemente richiesti per l'Azure-SSIS IR.

Il riquadro informativo DUAL STANDBY PAIR/ROLE mostra il nome della coppia di Azure-SSIS IR dual standby che funziona in sincronizzazione con il gruppo di failover dell'istanza gestita di database SQL di Azure per la continuità aziendale e il ripristino di emergenza (BCDR) e il ruolo primario/secondario corrente del Azure-SSIS IR. Quando si verifica il failover di SSISDB, i server di integrazione Azure-SSIS primario e secondario scambiano i ruoli (vedere Configurazione del Azure-SSIS IR per BCDR).

I riquadri funzionali sono descritti più avanti in dettaglio.

Monitorare l'Azure-SSIS IR

Riquadro STATO

Nel riquadro STATO della pagina Azure-SSIS IR monitoraggio è possibile visualizzarne lo stato complessivo, ad esempio In esecuzione o Arrestato. Se si seleziona Stato in esecuzione, viene visualizzata una finestra con il pulsante Arresta in tempo reale per arrestare la Azure-SSIS IR. Selezionando lo stato Arrestato viene visualizzata una finestra con il pulsante Avvia in tempo reale per avviare la Azure-SSIS IR. La finestra popup include anche un pulsante Esegui pacchetto SSIS per generare automaticamente una pipeline di AdF con l'attività Esegui pacchetto SSIS in esecuzione nel Azure-SSIS IR (vedere Esecuzione di pacchetti SSIS come attività Esegui pacchetto SSIS nelle pipeline di AdF)e una casella di testo ID risorsa, da cui è possibile copiare l'ID risorsa di Azure-SSIS IR ( /subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR ). Il suffisso dell'ID risorsa di Azure-SSIS IR che contiene i nomi di ADF e Azure-SSIS IR forma un ID cluster che può essere usato per acquistare componenti SSIS premium/con licenza aggiuntivi da fornitori di software indipendenti (ISV) e associarli al Azure-SSIS IR (vedere Installazione di componenti premium/conlicenza nel Azure-SSIS IR).

Monitorare il riquadro Azure-SSIS IR - STATO

Riquadro SSISDB SERVER ENDPOINT

Se si usa un modello di distribuzione di Project in cui i pacchetti vengono archiviati in SSISDB ospitato dal server database SQL di Azure o dall'istanza gestita, nella pagina di monitoraggio di Azure-SSIS IR verrà visualizzato il riquadro ENDPOINT SERVER SSISDB (vedere Configurazione delle impostazioni di distribuzione di Azure-SSIS IR). In questo riquadro è possibile selezionare un collegamento che designa il server database SQL di Azure o l'istanza gestita per visualizzare una finestra, in cui è possibile copiare l'endpoint server da una casella di testo e usarlo durante la connessione da SSMS per distribuire, configurare, eseguire e gestire i pacchetti. Nella finestra popup è anche possibile selezionare il collegamento See your database SQL di Azure or managed instance settings (Vedere le impostazioni dell'database SQL di Azure o dell'istanza gestita) per riconfigurare/ridimensionare il database SSISDB in portale di Azure.

Monitorare il Azure-SSIS IR - Riquadro SSISDB

Riquadro PROXY/STAGING

Se si scarica, installa e configura Self-Hosted IR (SHIR) come proxy per l'accesso del Azure-SSIS IR ai dati in locale, nella pagina di monitoraggio di Azure-SSIS IR verrà visualizzato il riquadro PROXY/STAGING (vedere Configurazione di SHIR come proxy per il Azure-SSIS IR). In questo riquadro è possibile selezionare un collegamento che designa SHIR per aprire la pagina di monitoraggio. È anche possibile selezionare un altro collegamento che designa il servizio BLOB di Azure Archiviazione la gestione temporanea per riconfigurare il servizio collegato.

Riquadro VALIDATE VNET/SUBNET

Se si aggiunge il Azure-SSIS IR a una rete virtuale, verrà visualizzato il riquadro CONVALIDA rete virtuale/SUBNET nella pagina di monitoraggio di Azure-SSIS IR (vedere Aggiunta del Azure-SSIS IR a una rete virtuale). In questo riquadro è possibile selezionare un collegamento che designa la rete virtuale e la subnet per visualizzare una finestra, in cui è possibile copiare l'ID risorsa di rete virtuale ( ) e il nome della subnet dalle caselle di testo, nonché convalidare le configurazioni della rete virtuale e della subnet per assicurarsi che i traffici di rete in ingresso/in uscita e la gestione del Azure-SSIS IR non siano /subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet ostacolati.

Monitorare il Azure-SSIS IR - CONVALIDA

RIQUADRO DIAGNOSTICA CONNETTIVITÀ

Nel riquadro DIAGNOSE CONNECTIVITY (DIAGNOSTICA CONNETTIVITÀ) della pagina di monitoraggio di Azure-SSIS IR è possibile selezionare il collegamento Test connessione per visualizzare una finestra in cui è possibile controllare le connessioni tra il Azure-SSIS IR e gli archivi pacchetti/configurazione/dati pertinenti, nonché i servizi di gestione, tramite il relativo nome di dominio completo (FQDN)/indirizzo IP e la porta designata (vedere Test delle connessioni dal Azure-SSIS IR).

Monitorare il riquadro Azure-SSIS IR - DIAGNOSTICA

Riquadro INDIRIZZI IP PUBBLICI STATICI

Se si portano i propri indirizzi IP pubblici statici per Azure-SSIS IR, verrà visualizzato il riquadro INDIRIZZI IP PUBBLICI STATICI nella pagina di monitoraggio di Azure-SSIS IR . Vedere Bring your own static public IPaddresses for Azure-SSIS IR (Portare i propri indirizzi IP pubblici statici per Azure-SSIS IR). In questo riquadro è possibile selezionare i collegamenti che designano il primo/secondo indirizzo IP pubblico statico per Azure-SSIS IR per visualizzare una finestra in cui è possibile copiare il relativo ID risorsa ( ) da una casella /subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress di testo. Nella finestra popup è anche possibile selezionare il collegamento See your first/second static public IP address settings (Vedere le impostazioni del primo/secondo indirizzo IP pubblico statico) per gestire il primo/secondo indirizzo IP pubblico statico in portale di Azure.

Monitorare il Azure-SSIS IR - RIQUADRO STATICO

Riquadro ARCHIVI PACCHETTI

Se si usa il modello di distribuzione dei pacchetti in cui i pacchetti vengono archiviati in un database di file system/File di Azure/SQL Server (MSDB) ospitato da Azure SQL Istanza gestita e gestiti tramite archivi pacchetti Azure-SSIS IR, verrà visualizzato il riquadro ARCHIVI PACCHETTI nella pagina di monitoraggio di Azure-SSIS IR (vedere Configurazione delle impostazioni di distribuzione di Azure-SSIS IR). In questo riquadro è possibile selezionare un collegamento che designa il numero di archivi pacchetti collegati al Azure-SSIS IR per visualizzare una finestra in cui è possibile riconfigurare i servizi collegati pertinenti per gli archivi pacchetti di Azure-SSIS IR in file system/File di Azure/MSDB ospitati da Azure SQL Istanza gestita.

Monitorare il riquadro Azure-SSIS IR - PACCHETTO

Riquadro ERRORI

Se si verificano problemi con l'avvio, l'arresto, la manutenzione o l'aggiornamento del Azure-SSIS IR, verrà visualizzato un riquadro errori aggiuntivo nella pagina Azure-SSIS IR monitoraggio. In questo riquadro è possibile selezionare un collegamento che designa il numero di errori generati dal Azure-SSIS IR per visualizzare una finestra, in cui è possibile visualizzare tali errori in altri dettagli e copiarli per trovare le soluzioni consigliate nella guida alla risoluzione dei problemi (vedere Risoluzione dei problemi del Azure-SSIS IR).

Monitorare il riquadro Azure-SSIS IR - ERRORE

Monitorare il runtime di integrazione SSIS di Azure con Monitoraggio di Azure

Per monitorare le Azure-SSIS IR con Monitoraggio di Azure, vedere Monitoraggio delle operazioni SSIS con Monitoraggio di Azure.

Altre informazioni sul runtime di integrazione di Azure-SSIS

Vedere gli articoli seguenti per ulteriori informazioni sul runtime di integrazione SSIS di Azure:

Passaggi successivi

Vedere gli articoli seguenti per il monitoraggio di pipeline in modi diversi: