Monitorování clusterů HDInsight s využitím protokolů služby Azure MonitorUse Azure Monitor logs to monitor HDInsight clusters

Naučte se, jak povolit protokoly Azure Monitor pro monitorování operací clusteru Hadoop v HDInsight.Learn how to enable Azure Monitor logs to monitor Hadoop cluster operations in HDInsight. A postup přidání řešení pro monitorování HDInsight.And how to add an HDInsight monitoring solution.

Protokoly Azure monitor jsou služba Azure monitor, která monitoruje cloudové a místní prostředí.Azure Monitor logs is an Azure Monitor service that monitors your cloud and on-premises environments. Monitorování je udržování jejich dostupnosti a výkonu.The monitoring is to maintain their availability and performance. Shromažďuje data vygenerovaná prostředky ve vašem cloudu, v místních prostředích a z jiných monitorovacích nástrojů.It collects data generated by resources in your cloud, on-premises environments and from other monitoring tools. Data se používají k zajištění analýzy napříč různými zdroji.The data is used to provide analysis across multiple sources.

Poznámka

Tento článek byl nedávno aktualizován, aby používal Azure Monitor protokoly místo Log Analytics.This article was recently updated to use the term Azure Monitor logs instead of Log Analytics. Data protokolu se pořád ukládají do Log Analyticsho pracovního prostoru a pořád se shromažďují a analyzují pomocí stejné služby Log Analytics.Log data is still stored in a Log Analytics workspace and is still collected and analyzed by the same Log Analytics service. Aktualizujeme terminologii, aby lépe odrážela roli protokolů v Azure monitor.We are updating the terminology to better reflect the role of logs in Azure Monitor. Podrobnosti najdete v tématu Azure monitor změny terminologie .See Azure Monitor terminology changes for details.

Pokud předplatné Azure ještě nemáte, napřed si vytvořte bezplatný účet.If you don't have an Azure subscription, create a free account before you begin.

PožadavkyPrerequisites

  • Pracovní prostor služby Log Analytics.A Log Analytics workspace. Tento pracovní prostor si můžete představit jako jedinečné Azure Monitor zaprotokolované prostředí s vlastním úložištěm dat, zdroji dat a řešeními.You can think of this workspace as a unique Azure Monitor logs environment with its own data repository, data sources, and solutions. Pokyny najdete v tématu Vytvoření pracovního prostoru Log Analytics.For the instructions, see Create a Log Analytics workspace.

  • Cluster Azure HDInsight.An Azure HDInsight cluster. V současné době můžete použít protokoly Azure Monitor s následujícími typy clusterů HDInsight:Currently, you can use Azure Monitor logs with the following HDInsight cluster types:

    • HadoopHadoop
    • HBaseHBase
    • Interaktivní dotazInteractive Query
    • KafkaKafka
    • SparkSpark
    • StormStorm

    Pokyny k vytvoření clusteru HDInsight najdete v tématu Začínáme se službou Azure HDInsight.For the instructions on how to create an HDInsight cluster, see Get started with Azure HDInsight.

  • Pokud používáte PowerShell, budete potřebovat AZ Module.If using PowerShell, you'll need the Az Module. Ujistěte se, že máte nejnovější verzi.Ensure you have the latest version. V případě potřeby spusťte Update-Module -Name Az .If necessary, run Update-Module -Name Az.

  • Pokud chcete použít rozhraní příkazového řádku Azure a ještě jste ho nenainstalovali, přečtěte si téma instalace Azure CLI.If wanting to use Azure CLI and you haven't yet installed it, see Install the Azure CLI.

Poznámka

Pro lepší výkon doporučujeme umístit cluster HDInsight i Log Analytics pracovní prostor do stejné oblasti.It is recommended to place both the HDInsight cluster and the Log Analytics workspace in the same region for better performance. Protokoly Azure Monitor nejsou k dispozici ve všech oblastech Azure.Azure Monitor logs is not available in all Azure regions.

Povolení Azure Monitor pomocí portáluEnable Azure Monitor using the portal

V této části nakonfigurujete existující cluster HDInsight Hadoop tak, aby používal pracovní prostor Azure Log Analytics k monitorování úloh, protokolů ladění atd.In this section, you configure an existing HDInsight Hadoop cluster to use an Azure Log Analytics workspace to monitor jobs, debug logs, and so on.

  1. Z Azure Portalvyberte svůj cluster.From the Azure portal, select your cluster. Cluster se otevře na nové stránce portálu.The cluster is opened in a new portal page.

  2. Vlevo v části monitorování vyberte Azure monitor .From the left, under Monitoring , select Azure Monitor .

  3. V hlavním zobrazení v části Azure monitor integrace vyberte Povolit .From the main view, under Azure Monitor Integration , select Enable .

  4. V rozevíracím seznamu Vyberte pracovní prostor vyberte existující pracovní prostor Log Analytics.From the Select a workspace drop-down list, select an existing Log Analytics workspace.

  5. Vyberte Uložit .Select Save . Uložení nastavení může chvíli trvat.It takes a few moments to save the setting.

    Povolit monitorování clusterů HDInsightEnable monitoring for HDInsight clusters

Povolit Azure Monitor pomocí Azure PowerShellEnable Azure Monitor using Azure PowerShell

Protokoly Azure Monitor můžete povolit pomocí Azure PowerShell rutinu AZ Module Enable-AzHDInsightMonitoring .You can enable Azure Monitor logs using the Azure PowerShell Az module Enable-AzHDInsightMonitoring cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightMonitoring `
    -ResourceGroupName $resourceGroup `
    -Name $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightMonitoring `
    -ResourceGroupName $resourceGroup `
    -Name $cluster

Pokud ho chcete zakázat, použijte rutinu Disable-AzHDInsightMonitoring :To disable, the use the Disable-AzHDInsightMonitoring cmdlet:

Disable-AzHDInsightMonitoring -Name "<your-cluster>"

Povolení Azure Monitor pomocí rozhraní příkazového řádku AzureEnable Azure Monitor using Azure CLI

Protokoly Azure Monitor můžete povolit pomocí příkazu Azure CLI [az hdinsight monitor enable ] (/CLI/Azure/HDInsight/monitor # AZ-HDInsight-monitor-Enable).You can enable Azure Monitor logs using the Azure CLI [az hdinsight monitor enable](/cli/azure/hdinsight/monitor#az-hdinsight-monitor-enable) command.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight monitor show --name $cluster --resource-group $resourceGroup

K zakázání použijte az hdinsight monitor disable příkaz.To disable, the use the az hdinsight monitor disable command.

az hdinsight monitor disable --name $cluster --resource-group $resourceGroup

Instalace řešení pro správu clusteru HDInsightInstall HDInsight cluster management solutions

HDInsight poskytuje řešení pro správu pro konkrétní clustery, která můžete přidat pro protokoly Azure Monitor.HDInsight provides cluster-specific management solutions that you can add for Azure Monitor logs. Řešení pro správu přidávají funkce do protokolů Azure monitor a poskytují další data a analytické nástroje.Management solutions add functionality to Azure Monitor logs, providing additional data and analysis tools. Tato řešení shromažďují důležité metriky výkonu z clusterů HDInsight.These solutions collect important performance metrics from your HDInsight clusters. A poskytněte nástroje pro hledání metrik.And provide the tools to search the metrics. Tato řešení také poskytují vizualizace a řídicí panely pro většinu typů clusterů podporovaných v HDInsight.These solutions also provide visualizations and dashboards for most cluster types supported in HDInsight. Pomocí metrik, které s řešením shromáždíte, můžete vytvořit vlastní pravidla monitorování a výstrahy.By using the metrics that you collect with the solution, you can create custom monitoring rules and alerts.

Dostupná řešení HDInsight:Available HDInsight solutions:

  • Monitorování HDInsight HadoopHDInsight Hadoop Monitoring
  • HDInsight HBase MonitoringHDInsight HBase Monitoring
  • Monitorování interaktivních dotazů HDInsightHDInsight Interactive Query Monitoring
  • Monitorování HDInsight KafkaHDInsight Kafka Monitoring
  • Monitorování HDInsight SparkHDInsight Spark Monitoring
  • Sledování v HDInsightHDInsight Storm Monitoring

Pokyny k řešení pro správu najdete v tématu řešení pro správu v Azure.For management solution instructions, see Management solutions in Azure. Pokud chcete experimentovat, nainstalujte řešení pro monitorování HDInsight Hadoop.To experiment, install a HDInsight Hadoop Monitoring solution. Až to bude hotové, zobrazí se pod položkou summary dlaždice HDInsightHadoop .When it's done, you see an HDInsightHadoop tile listed under Summary . Vyberte dlaždici HDInsightHadoop .Select the HDInsightHadoop tile. Řešení HDInsightHadoop vypadá takto:The HDInsightHadoop solution looks like:

Zobrazení řešení pro monitorování HDInsight

Vzhledem k tomu, že cluster je úplně nový cluster, sestava nezobrazuje žádné aktivity.Because the cluster is a brand new cluster, the report doesn't show any activities.

Konfigurace čítačů výkonuConfiguring performance counters

Azure monitor podporuje shromažďování a analýzu metrik výkonu pro uzly ve vašem clusteru.Azure monitor supports collecting and analyzing performance metrics for the nodes in your cluster. Další informace najdete v tématu zdroje dat o výkonu pro Linux v Azure monitor.For more information, see Linux performance data sources in Azure Monitor.

Auditování clusteruCluster auditing

Služba HDInsight podporuje auditování clusteru s protokoly Azure Monitor importem následujících typů protokolů:HDInsight support cluster auditing with Azure Monitor logs, by importing the following types of logs:

  • log_gateway_audit_CL – Tato tabulka poskytuje protokoly auditu z uzlů brány clusteru, které zobrazují úspěšné a neúspěšné pokusy o přihlášení.log_gateway_audit_CL - this table provides audit logs from cluster gateway nodes that show successful and failed login attempts.
  • log_auth_CL – Tato tabulka poskytuje protokoly SSH s úspěšnými a neúspěšnými pokusy o přihlášení.log_auth_CL - this table provides SSH logs with successful and failed login attempts.
  • log_ambari_audit_CL – Tato tabulka poskytuje protokoly auditu z Ambari.log_ambari_audit_CL - this table provides audit logs from Ambari.
  • log_ranger_audti_CL – Tato tabulka poskytuje protokoly auditu z Apache Ranger v clusterech ESP.log_ranger_audti_CL - this table provides audit logs from Apache Ranger on ESP clusters.

Další krokyNext steps