Usare i log di Monitoraggio di Azure per monitorare i cluster HDInsight
Informazioni su come abilitare i log di Monitoraggio di Azure per monitorare le operazioni del cluster Hadoop in HDInsight e su come aggiungere una soluzione di monitoraggio di HDInsight.
I log di Monitoraggio di Azure sono un servizio di Monitoraggio di Azure che consente di monitorare gli ambienti cloud e locali per mantenerne la disponibilità e le prestazioni. Il monitoraggio raccoglie i dati generati dalle risorse negli ambienti cloud e locali e da altri strumenti di monitoraggio. I dati vengono usati per consentire l'analisi in più origini.
Nota
Questo articolo è stato aggiornato di recente in modo da usare il termine log di Monitoraggio di Azure anziché Log Analytics. I dati di log vengono comunque archiviati in un'area di lavoro Log Analytics e vengano ancora raccolti e analizzati dallo stesso servizio Log Analytics. Si sta procedendo a un aggiornamento della terminologia per riflettere meglio il ruolo dei log in Monitoraggio di Azure. Per informazioni dettagliate, vedere Modifiche della terminologia di Monitoraggio di Azure.
Se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.
Importante
La nuova esperienza di Monitoraggio di Azure è disponibile in tutte le aree come funzionalità di anteprima.
Prerequisiti
Un'area di lavoro Log Analytics. Un'area di lavoro è un ambiente dei log di Monitoraggio di Azure univoco con un proprio repository dei dati, origini dati e soluzioni proprie. Per istruzioni, vedere Creare un'area di lavoro Log Analytics.
Un cluster HDInsight di Azure. Attualmente, è possibile usare i log di Monitoraggio di Azure con i tipi di cluster HDInsight seguenti:
- Hadoop
- hbase
- Interactive Query
- Kafka
- Spark
Per istruzioni su come creare un cluster HDInsight, vedere Introduzione ad Azure HDInsight.
Se si usa PowerShell, è necessario il modulo Az. Verificare di avere l'ultima versione. Se necessario, eseguire
Update-Module -Name Az
.Se si vuole usare l'interfaccia della riga di comando di Azure e non è ancora stata installata, vedere Installare l'interfaccia della riga di comando di Azure.
Nota
La nuova esperienza di Monitoraggio di Azure è disponibile solo in tutte le aree come funzionalità di anteprima. È consigliabile posizionare sia il cluster HDInsight che l'area di lavoro Log Analytics nella stessa area per ottenere prestazioni migliori.
Abilitare Monitoraggio di Azure tramite il portale
In questa sezione si configura un cluster Hadoop HDInsight esistente per usare un'area di lavoro di Azure Log Analytics per monitorare i processi, i log di debug e così via.
Selezionare il proprio cluster nel portale di Azure. Il cluster viene aperto in una nuova pagina del portale.
A sinistra, in Monitoraggio selezionare Monitoraggio integrazione.
Nella visualizzazione principale, in Monitoraggio di Azure per l'integrazione dei cluster HDInsight selezionare Abilita.
Nell'elenco a discesa Selezionare un'area di lavoro, selezionare un'area di lavoro Log Analytics esistente.
Seleziona Salva. Sono necessari alcuni minuti per salvare l'impostazione.
Se si vuole disabilitare Monitoraggio di Azure, è possibile eseguire le stesse operazioni in questo portale.
Abilitare Monitoraggio di Azure tramite Azure PowerShell
È possibile abilitare i log di Monitoraggio di Azure usando il modulo Az di Azure PowerShell Enable-AzHDInsightAzureMonitor cmdlet.
# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input
# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
-ResourceGroupName $resourceGroup `
-Name $LAW).CustomerId
# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
-ResourceGroupName $resourceGroup `
-Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey
# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
-ResourceGroupName $resourceGroup `
-ClusterName $cluster `
-WorkspaceId $WorkspaceId `
-PrimaryKey $PrimaryKey
# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
-ResourceGroupName $resourceGroup `
-ClusterName $cluster
Per disabilitare, usare il cmdlet Disable-AzHDInsightAzureMonitor :
Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster
Abilitare Monitoraggio di Azure tramite l'interfaccia della riga di comando di Azure
È possibile abilitare i log di Monitoraggio di Azure usando il comando dell'interfaccia della riga di comando di Azure az hdinsight azure-monitor enable
.
# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME
# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW
# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup
Per disabilitare, usare il comando az hdinsight monitor disable
.
az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup
Usare HDInsight out-of-box Insights per monitorare un singolo cluster
HDInsight offre una cartella di lavoro specifica del carico di lavoro che consente di ottenere rapidamente informazioni dettagliate. Questa cartella di lavoro raccoglie importanti metriche sulle prestazioni dal cluster HDInsight e fornisce le visualizzazioni e i dashboard per gli scenari più comuni. Le informazioni dettagliate predefinite offrono una visualizzazione completa di un singolo cluster HDInsight, inclusi l'utilizzo delle risorse e lo stato dell'applicazione.
Cartelle di lavoro di HDInsight disponibili:
- Cartella di lavoro di HDInsight Spark
- Cartella di lavoro kafka di HDInsight
- Cartella di lavoro HBase di HDInsight
- Cartella di lavoro Hive/LLAP di HDInsight
Screenshot della cartella di lavoro di Spark
Configurazione dei contatori delle prestazioni
Monitoraggio di Azure supporta la raccolta e l'analisi delle metriche delle prestazioni per i nodi del cluster. Pe altre informazioni, vedere Origini dati delle prestazioni di Linux in Monitoraggio di Azure.
Controllo dei cluster
HDInsight supporta il controllo del cluster con i log di Monitoraggio di Azure tramite l'importazione dei tipi di log seguenti:
log_gateway_audit_CL
: questa tabella fornisce i log di controllo dai nodi del gateway del cluster che mostrano tentativi di accesso riusciti e non riusciti.log_auth_CL
: questa tabella fornisce i log SSH con tentativi di accesso riusciti e non riusciti.log_ambari_audit_CL
: questa tabella contiene i log di controllo di Ambari.log_ranger_audti_CL
: questa tabella contiene i log di controllo di Apache Ranger nei cluster ESP.
Aggiornare l'agente di Log Analytics (OMS) usato dall'integrazione di Monitoraggio di Azure di HDInsight
Quando l'integrazione di Monitoraggio di Azure è abilitata in un cluster, l'agente di Log Analytics o l'agente di Operations Management Suite (OMS) viene installato nel cluster e non viene aggiornato a meno che non si disabilita e non si riabiliti l'integrazione di Monitoraggio di Azure. Completare i passaggi seguenti se è necessario aggiornare l'agente OMS nel cluster. Se si è protetti da un firewall, potrebbe essere necessario completare i prerequisiti per i cluster dietro un firewall prima di completare questi passaggi.
- Selezionare il proprio cluster nel portale di Azure. Il cluster viene aperto in una nuova pagina del portale.
- A sinistra, in Monitoraggio selezionare Monitoraggio di Azure.
- Prendere nota del nome dell'area di lavoro Log Analytics corrente.
- Nella visualizzazione principale, in Integrazione di Monitoraggio di Azure, disabilitare l'interruttore e quindi selezionare Salva.
- Dopo aver salvato l'impostazione, riabilitare l'interruttore Integrazione monitoraggio di Azure e assicurarsi che sia selezionata la stessa area di lavoro Log Analytics e quindi selezionare Salva.
Se è abilitata l'integrazione di Monitoraggio di Azure in un cluster, l'aggiornamento dell'agente OMS aggiornerà anche la versione OMI (Open Management Infrastructure). È possibile controllare la versione OMI nel cluster eseguendo il comando seguente:
sudo /opt/omi/bin/omiserver –version
Passaggi successivi
Commenti e suggerimenti
https://aka.ms/ContentUserFeedback.
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedereInvia e visualizza il feedback per