Usare i log di Monitoraggio di Azure per monitorare i cluster HDInsight

  • Articolo

Informazioni su come abilitare i log di Monitoraggio di Azure per monitorare le operazioni del cluster Hadoop in HDInsight e su come aggiungere una soluzione di monitoraggio di HDInsight.

I log di Monitoraggio di Azure sono un servizio di Monitoraggio di Azure che consente di monitorare gli ambienti cloud e locali per mantenerne la disponibilità e le prestazioni. Il monitoraggio raccoglie i dati generati dalle risorse negli ambienti cloud e locali e da altri strumenti di monitoraggio. I dati vengono usati per consentire l'analisi in più origini.

Nota

Questo articolo è stato aggiornato di recente in modo da usare il termine log di Monitoraggio di Azure anziché Log Analytics. I dati di log vengono comunque archiviati in un'area di lavoro Log Analytics e vengano ancora raccolti e analizzati dallo stesso servizio Log Analytics. Si sta procedendo a un aggiornamento della terminologia per riflettere meglio il ruolo dei log in Monitoraggio di Azure. Per informazioni dettagliate, vedere Modifiche della terminologia di Monitoraggio di Azure.

Se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.

Importante

La nuova esperienza di Monitoraggio di Azure è disponibile in tutte le aree come funzionalità di anteprima.

Prerequisiti

  • Un'area di lavoro Log Analytics. Un'area di lavoro è un ambiente dei log di Monitoraggio di Azure univoco con un proprio repository dei dati, origini dati e soluzioni proprie. Per istruzioni, vedere Creare un'area di lavoro Log Analytics.

  • Un cluster HDInsight di Azure. Attualmente, è possibile usare i log di Monitoraggio di Azure con i tipi di cluster HDInsight seguenti:

    • Hadoop
    • hbase
    • Interactive Query
    • Kafka
    • Spark

    Per istruzioni su come creare un cluster HDInsight, vedere Introduzione ad Azure HDInsight.

  • Se si usa PowerShell, è necessario il modulo Az. Verificare di avere l'ultima versione. Se necessario, eseguire Update-Module -Name Az.

  • Se si vuole usare l'interfaccia della riga di comando di Azure e non è ancora stata installata, vedere Installare l'interfaccia della riga di comando di Azure.

Nota

La nuova esperienza di Monitoraggio di Azure è disponibile solo in tutte le aree come funzionalità di anteprima. È consigliabile posizionare sia il cluster HDInsight che l'area di lavoro Log Analytics nella stessa area per ottenere prestazioni migliori.

Abilitare Monitoraggio di Azure tramite il portale

In questa sezione si configura un cluster Hadoop HDInsight esistente per usare un'area di lavoro di Azure Log Analytics per monitorare i processi, i log di debug e così via.

  1. Selezionare il proprio cluster nel portale di Azure. Il cluster viene aperto in una nuova pagina del portale.

  2. A sinistra, in Monitoraggio selezionare Monitoraggio integrazione.

  3. Nella visualizzazione principale, in Monitoraggio di Azure per l'integrazione dei cluster HDInsight selezionare Abilita.

  4. Nell'elenco a discesa Selezionare un'area di lavoro, selezionare un'area di lavoro Log Analytics esistente.

  5. Seleziona Salva. Sono necessari alcuni minuti per salvare l'impostazione.

    Enable monitoring for HDInsight clusters.

Se si vuole disabilitare Monitoraggio di Azure, è possibile eseguire le stesse operazioni in questo portale.

Abilitare Monitoraggio di Azure tramite Azure PowerShell

È possibile abilitare i log di Monitoraggio di Azure usando il modulo Az di Azure PowerShell Enable-AzHDInsightAzureMonitor cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Per disabilitare, usare il cmdlet Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Abilitare Monitoraggio di Azure tramite l'interfaccia della riga di comando di Azure

È possibile abilitare i log di Monitoraggio di Azure usando il comando dell'interfaccia della riga di comando di Azure az hdinsight azure-monitor enable .

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Per disabilitare, usare il comando az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Usare HDInsight out-of-box Insights per monitorare un singolo cluster

HDInsight offre una cartella di lavoro specifica del carico di lavoro che consente di ottenere rapidamente informazioni dettagliate. Questa cartella di lavoro raccoglie importanti metriche sulle prestazioni dal cluster HDInsight e fornisce le visualizzazioni e i dashboard per gli scenari più comuni. Le informazioni dettagliate predefinite offrono una visualizzazione completa di un singolo cluster HDInsight, inclusi l'utilizzo delle risorse e lo stato dell'applicazione.

Cartelle di lavoro di HDInsight disponibili:

  • Cartella di lavoro di HDInsight Spark
  • Cartella di lavoro kafka di HDInsight
  • Cartella di lavoro HBase di HDInsight
  • Cartella di lavoro Hive/LLAP di HDInsight

Screenshot della cartella di lavoro di Spark Spark workbook screenshot.

Configurazione dei contatori delle prestazioni

Monitoraggio di Azure supporta la raccolta e l'analisi delle metriche delle prestazioni per i nodi del cluster. Pe altre informazioni, vedere Origini dati delle prestazioni di Linux in Monitoraggio di Azure.

Controllo dei cluster

HDInsight supporta il controllo del cluster con i log di Monitoraggio di Azure tramite l'importazione dei tipi di log seguenti:

  • log_gateway_audit_CL : questa tabella fornisce i log di controllo dai nodi del gateway del cluster che mostrano tentativi di accesso riusciti e non riusciti.
  • log_auth_CL : questa tabella fornisce i log SSH con tentativi di accesso riusciti e non riusciti.
  • log_ambari_audit_CL: questa tabella contiene i log di controllo di Ambari.
  • log_ranger_audti_CL: questa tabella contiene i log di controllo di Apache Ranger nei cluster ESP.

Aggiornare l'agente di Log Analytics (OMS) usato dall'integrazione di Monitoraggio di Azure di HDInsight

Quando l'integrazione di Monitoraggio di Azure è abilitata in un cluster, l'agente di Log Analytics o l'agente di Operations Management Suite (OMS) viene installato nel cluster e non viene aggiornato a meno che non si disabilita e non si riabiliti l'integrazione di Monitoraggio di Azure. Completare i passaggi seguenti se è necessario aggiornare l'agente OMS nel cluster. Se si è protetti da un firewall, potrebbe essere necessario completare i prerequisiti per i cluster dietro un firewall prima di completare questi passaggi.

  1. Selezionare il proprio cluster nel portale di Azure. Il cluster viene aperto in una nuova pagina del portale.
  2. A sinistra, in Monitoraggio selezionare Monitoraggio di Azure.
  3. Prendere nota del nome dell'area di lavoro Log Analytics corrente.
  4. Nella visualizzazione principale, in Integrazione di Monitoraggio di Azure, disabilitare l'interruttore e quindi selezionare Salva.
  5. Dopo aver salvato l'impostazione, riabilitare l'interruttore Integrazione monitoraggio di Azure e assicurarsi che sia selezionata la stessa area di lavoro Log Analytics e quindi selezionare Salva.

Se è abilitata l'integrazione di Monitoraggio di Azure in un cluster, l'aggiornamento dell'agente OMS aggiornerà anche la versione OMI (Open Management Infrastructure). È possibile controllare la versione OMI nel cluster eseguendo il comando seguente:

 sudo /opt/omi/bin/omiserver –version

Passaggi successivi