Azure Monitor-logboeken gebruiken om HDInsight-clusters te bewaken

  • Artikel
  • 10 minuten om te lezen

Meer informatie over het inschakelen Azure Monitor voor het bewaken van Hadoop-clusterbewerkingen in HDInsight. En hoe u een HDInsight-bewakingsoplossing toevoegt.

Azure Monitor logboeken is een Azure Monitor service die uw cloud- en on-premises omgevingen bewaakt. De bewaking is om de beschikbaarheid en prestaties te behouden. Het verzamelt gegevens die worden gegenereerd door resources in uw cloud, on-premises omgevingen en andere bewakingshulpprogramma's. De gegevens worden gebruikt voor analyse van meerdere bronnen.

Notitie

Dit artikel is onlangs bijgewerkt waarbij Log Analytics is vervangen door de term Azure Monitor-logboeken. Logboekgegevens worden nog steeds opgeslagen in een Log Analytics-werkruimte, en worden nog steeds verzameld en geanalyseerd met dezelfde Log Analytics-service. De terminologie wordt bijgewerkt om de rol van logboeken in Azure Monitor beter te weerspiegelen. Zie Wijzigingen in Azure Monitor-terminologie voor meer informatie.

Als u geen abonnement op Azure hebt, maakt u een gratis account voordat u begint.

Belangrijk

Nieuwe Azure Monitor is alleen beschikbaar in VS - oost en Europa - west als preview-functie.

Vereisten

  • Een Log Analytics-werkruimte. U kunt deze werkruimte zien als een unieke Azure Monitor logboekomgeving met een eigen gegevensopslagplaats, gegevensbronnen en oplossingen. Zie Een Log Analytics-werkruimte maken voor de instructies.

  • Een Azure HDInsight-cluster. Op dit moment kunt u Azure Monitor met de volgende HDInsight-clustertypen:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark
    • Storm

    Zie Aan de slag met Azure HDInsight voor instructies over het maken van een HDInsight-cluster.

  • Als u PowerShell gebruikt, hebt u de Az-module nodig. Zorg ervoor dat u de nieuwste versie hebt. Voer indien nodig Update-Module -Name Az uit.

  • Zie Azure CLI installeren als u Azure CLI wilt gebruiken en u deze nog niet hebt geïnstalleerd.

Notitie

Nieuwe Azure Monitor is alleen beschikbaar in VS - oost en Europa - west als preview-functie. Het is raadzaam om zowel het HDInsight-cluster als de Log Analytics-werkruimte in dezelfde regio te plaatsen voor betere prestaties. Azure Monitor logboeken zijn niet in alle Azure-regio's beschikbaar.

Toegang Azure Monitor via de portal

In deze sectie configureert u een bestaand HDInsight Hadoop-cluster om een Azure Log Analytics-werkruimte te gebruiken voor het bewaken van taken, logboeken voor foutopsporing, en meer.

  1. Selecteer in Azure Portalhet cluster. Het cluster wordt geopend op een nieuwe portalpagina.

  2. Selecteer aan de linkerkant onder Bewaking de optie Integratie bewaken.

  3. Selecteer in de hoofdweergave onder Azure Monitor hdinsight-clustersintegratie de optie Inschakelen.

  4. Selecteer in de vervolgkeuzelijst   Een werkruimte selecteren een bestaande Log Analytics-werkruimte.

  5. Selecteer Opslaan. Het duurt even om de instelling op te slaan.

    Bewaking inschakelen voor HDInsight-clusters

Als u de Azure Monitor wilt uitschakelen, kunt u hetzelfde doen in deze portal.

Schakel Azure Monitor in met Azure PowerShell

U kunt logboeken Azure Monitor de az Azure PowerShell module Enable-AzHDInsightAzureMonitor-cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Als u wilt uitschakelen, gebruikt u de cmdlet Disable-AzHDInsightAzureMonitor:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Een Azure Monitor azure CLI inschakelen

U kunt logboeken Azure Monitor met behulp van de Azure az hdinsight azure-monitor enable CLI-opdracht.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Als u wilt uitschakelen, gebruikt u de az hdinsight monitor disable opdracht .

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

HdInsight out-of-box Insights één cluster bewaken

HDInsight biedt een workloadspecifieke werkmap om snel inzichten te verkrijgen. Deze werkmap verzamelt belangrijke metrische prestatiegegevens van uw HDInsight-cluster en biedt de visualisaties en dashboards voor de meest voorkomende scenario's. De out-of-box inzichten bieden een volledig overzicht van één HDInsight-cluster, inclusief resourcegebruik en toepassingsstatus.

Beschikbare HDInsight-werkmappen:

  • HDInsight Spark-werkmap
  • HDInsight Kafka-werkmap
  • HDInsight HBase-werkmap
  • HDInsight Hive/LLAP-werkmap
  • HDInsight Storm-werkmap

Schermopname van spark-werkmapschermafbeelding van Spark-werkmap

Gebruik op schaal Insights om meerdere clusters te bewaken

U kunt zich aanmelden Azure Portal en Bewaking selecteren. In de Insights kunt u Insights Hub selecteren. Vervolgens kunt u HDInsight-clusters vinden.

In deze weergave kunt u meerdere HDInsight-clusters op één plek bewaken. Schermopname van clustermonitorinzichten

U kunt het abonnement en de HDInsight-clusters selecteren die u wilt bewaken.

  • In Bewaakte clusters ziet u het aantal clusters dat u hebt ingeschakeld voor Azure Monitor integratie.
  • Het niet-gecontroleerd cluster toont het aantal clusters dat u niet hebt ingeschakeld voor Azure Monitor integratie.

U kunt de detaillijst van het cluster in elke sectie bekijken.

Op het tabblad Overzicht onder Bewaakte clusters ziet u clustertype, kritieke waarschuwingen en resourcegebruik. Schermopname van clustermonitorwaarschuwingen

U kunt ook de clusters in elk workloadtype zien, met inbegrip van Spark, HBase, Hive, Kafka en Storm.

De metrische gegevens op hoog niveau van elk type workload worden weergegeven, inclusief het aantal actieve knooppuntmanagers, het aantal actieve toepassingen, enzovoort.

Metrische Spark-gegevens clustermonitor

Prestatiemeters configureren

Azure Monitor ondersteunt het verzamelen en analyseren van metrische prestatiegegevens voor de knooppunten in uw cluster. Zie Gegevensbronnen voor Linux-prestaties inAzure Monitor.

Clustercontrole

HDInsight biedt ondersteuning voor clustercontrole Azure Monitor logboeken, door de volgende typen logboeken te importeren:

  • log_gateway_audit_CL - Deze tabel bevat auditlogboeken van clustergatewayknooppunten die geslaagde en mislukte aanmeldingspogingen tonen.
  • log_auth_CL - Deze tabel bevat SSH-logboeken met geslaagde en mislukte aanmeldingspogingen.
  • log_ambari_audit_CL - deze tabel bevat auditlogboeken van Ambari.
  • log_ranger_audti_CL - deze tabel bevat auditlogboeken van Apache Ranger op ESP-clusters.

De Log Analytics-agent (OMS) bijwerken die wordt gebruikt door HDInsight Azure Monitor Integration

Wanneer Azure Monitor integratie is ingeschakeld in een cluster, wordt de Log Analytics-agent of Operations Management Suite-agent (OMS) op het cluster geïnstalleerd en wordt deze niet bijgewerkt, tenzij u Azure Monitor Integration uit- en opnieuw inschakelen. Voltooi de volgende stappen als u de OMS-agent op het cluster wilt bijwerken. Als u zich achter een firewall bevinden, moet u mogelijk de vereisten voor clusters achter een firewall voltooien voordat u deze stappen voltooit.

  1. Selecteer in Azure Portalhet cluster. Het cluster wordt geopend op een nieuwe portalpagina.
  2. Selecteer aan de linkerkant onder Bewaking de optie Azure Monitor.
  3. Noteer de naam van uw huidige Log Analytics-werkruimte.
  4. Schakel in de hoofdweergave onder Azure Monitor Integration de schakelknop uit en selecteer vervolgens Opslaan.
  5. Nadat de instelling is op slaan, schakelt u de Azure Monitor Integration opnieuw in en zorgt u ervoor dat dezelfde Log Analytics-werkruimte is geselecteerd en selecteert u vervolgens Opslaan.

Als u integratie Azure Monitor een cluster hebt ingeschakeld, wordt bij het bijwerken van de OMS-agent ook de omi-versie (Open Management Infrastructure) bijgewerkt. U kunt de OMI-versie op het cluster controleren door de volgende opdracht uit te voeren:

 sudo /opt/omi/bin/omiserver –version

Volgende stappen